在对方非法放贷的情况下，借款人不能简单地主张不还本金。具体还款责任需根据借贷合同的有效性和实际情况来决定。以下是详细分析：

1. 借贷合同有效的情况：

   • 若放贷行为虽存在违法违规情节，但并未违反法律法规的强制性规定，也未损害国家利益和社会公共利益，借贷合同仍然有效。借款人需按照合同约定履行还款义务，包括本金和合法利息。

2. 借贷合同无效的情况：

   • 若放贷行为违反了法律法规的强制性规定，如没有金融业务资质的机构或个人以营利为目的向不特定对象发放贷款，或贷款利率构成高利贷等，则借贷合同可能被视为无效。在此情况下，借款人通常只需返还借款本金，对于已支付的超过法定标准的利息，可以要求返还。

3. 特殊情况的处理：

   • 若放贷方在放贷过程中存在欺诈、胁迫等违法行为，借款人可以依法请求撤销合同。撤销后，借款人应返还借款本金，但利息部分需根据具体情况处理。
   • 若放贷行为本身是为了从事非法活动，如洗钱、非法集资等，这种借贷关系不受法律保护。借款人无需偿还所谓的“借款”，并应积极配合相关部门调查。

4. 不还借款的后果：

   • 不还违法放贷的钱可能导致法律诉讼、强制执行、信用记录受损等后果。
   • 如果借款人被认定为恶意逃债或诈骗等行为，还可能面临刑事责任。

综上所述，面对非法放贷情况，借款人应根据借贷合同的有效性和具体情况来决定还款责任，并通过合法途径解决争议。如果认为放贷行为存在违法行为，可以向相关部门举报或寻求法律援助来保护自己的合法权益。在任何情况下，都不能以不还钱的方式来应对非法放贷问题。