不可以直接不搭理他，但超出法定利息部分你无需偿还。针对你描述的情况，以下从几个方面为你详细分析：

一、高利贷的利息认定

根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，民间借贷的利率有明确的限制。具体来说：

• 利率上限：借贷双方约定的利率未超过合同成立时一年期贷款市场报价利率（LPR）的四倍，受法律保护。超出此限度的，超出部分的利息不予保护。
• 利息计算：如果你已经支付的利息超过了按照上述标准计算出的合法利息，那么超出部分可以视为无效，你无需再偿还这部分利息。

二、已还利息超过本金的处理

• 超出部分的处理：既然你已经支付的利息已经超过了本金，且这部分利息中包含了超出法定上限的部分，那么对于超出法定上限的利息，你无需再偿还。出借人无权要求你继续支付这部分利息。
• 本金偿还：然而，对于本金部分，你仍然有偿还的义务。如果出借人通过合法途径（如诉讼）要求你偿还本金，你应当履行偿还义务。

三、不搭理出借人的法律后果

• 可能面临诉讼：如果你选择不搭理出借人，出借人可能会通过法律途径（如提起诉讼）来追讨债务。在这种情况下，法院将会根据事实和法律规定来判决你是否需要偿还债务以及偿还多少。
• 信用受损：不搭理出借人还可能导致你的信用受损。在现代社会，信用记录对于个人来说非常重要。如果因为不偿还债务而被列入失信被执行人名单，将会对你的生活和工作产生诸多不便。

四、建议与措施

• 与出借人协商：你可以尝试与出借人进行协商，说明你已经支付的利息已经超过了法定上限，并请求出借人减免超出部分的利息。如果出借人同意，那么你可以按照协商后的金额进行偿还。
• 寻求法律帮助：如果出借人不同意减免利息或者采取其他不当手段追讨债务，你可以寻求法律帮助。你可以咨询专业律师（比如我），了解你的权利和义务，并制定合适的应对策略。
• 保留证据：在与出借人协商或应对诉讼的过程中，你应当保留好相关证据（如借款合同、还款记录等），以便在需要时证明自己的主张。

举例说明：假设你向出借人借款10万元，约定年利率为36%（远超一年期贷款市场报价利率LPR的四倍），一年后你已经支付了3.6万元的利息，但本金尚未偿还。在这种情况下，你可以主张超出法定上限的利息无效，并只需偿还本金10万元以及按照法定上限计算的利息。如果出借人要求你继续支付超出部分的利息或者采取其他不当手段追讨债务，你可以通过法律途径来维护自己的权益。

综上所述，虽然你已经支付的利息超过了本金，但超出法定上限的利息部分你无需偿还。然而，对于本金部分你仍然有偿还的义务。因此，建议你与出借人进行协商并寻求法律帮助以妥善处理此事。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。