结论：是否可以起诉借过高利贷的对方，需根据具体情况判断，主要看是否存在可主张的合法权益以及是否超过诉讼时效。以下从不同角度为你详细分析：
一、从高利贷本身的合法性角度
- 高利贷超出法定利率部分无效
- 根据相关法律规定，民间借贷的利率有上限要求。如果借贷双方约定的利率超过合同成立时一年期贷款市场报价利率四倍，超出部分的利息是不受法律保护的。例如，当前一年期贷款市场报价利率为3.45%，那么四倍就是13.8%，如果你们约定的年利率是20%，那么超出13.8%的部分，即6.2%的利息，你可以不用支付。
- 法律建议：如果你已经支付了超出法定利率部分的利息，你可以起诉要求对方返还这部分利息。你需要收集好相关的借款合同、转账记录、还款记录等证据，以证明实际支付的利息情况。
- 高利贷行为本身不必然导致整个借贷合同无效
- 一般情况下，高利贷中超出法定利率部分的约定无效，但借贷合同中关于借款本金以及合法利率范围内的利息约定仍然是有效的。也就是说，你仍然有义务偿还借款本金以及合法利率范围内的利息。
- 法律建议：如果对方起诉你要求偿还借款本金和合法利息，你需要积极应诉，按照法律规定履行还款义务。如果对方存在暴力催收等违法行为，你可以向公安机关报案，维护自己的合法权益。
二、从是否存在其他违法行为角度
- 如果对方存在欺诈、胁迫等行为
- 如果在借款过程中，对方存在欺诈、胁迫等行为，导致你在违背真实意思的情况下签订了借款合同，那么该借款合同是可撤销的。例如，对方以虚假的信息诱使你借款，或者在借款时以威胁的手段迫使你签订合同。
- 法律建议：你可以在知道或者应当知道撤销事由之日起一年内，向法院起诉请求撤销该借款合同。一旦合同被撤销，你就无需再履行还款义务，并且可以要求对方返还已经支付的款项。你需要收集好能够证明对方存在欺诈、胁迫行为的证据，如聊天记录、录音、证人证言等。
- 如果对方将利息计入本金计算复利且超出法定限度
- 如果出借人将利息计入本金计算复利，且最终收取的利息总额超过以最初借款本金为基数、以合同成立时一年期贷款市场报价利率四倍计算的整个借款期间的利息总额，超出部分也是不受法律保护的。
- 法律建议：你可以拒绝支付超出部分的利息，如果对方已经收取，你可以起诉要求返还。同样需要收集好相关的借款合同、利息计算记录等证据。
三、从诉讼时效角度
- 民间借贷的诉讼时效一般为三年
- 诉讼时效期间自权利人知道或者应当知道权利受到损害以及义务人之日起计算。例如，借款合同约定的还款期限届满后，你没有按时还款，从还款期限届满的次日起，诉讼时效开始计算。
- 法律建议：如果诉讼时效已经届满，对方起诉你要求还款，你可以提出诉讼时效抗辩，法院将不再保护对方的请求权。但是，如果对方能够证明在诉讼时效期间内存在向你催讨借款等导致诉讼时效中断的情形，诉讼时效会重新计算。所以，你需要关注诉讼时效的问题，如果存在诉讼时效中断的情况，要及时收集相关证据。
最后提醒：在处理高利贷相关问题时，证据的收集和保存至关重要。如果你不确定如何收集证据或者对法律程序不熟悉，可以随时向我咨询，我会根据你的具体情况为你提供详细的法律建议和帮助。