结论：非法放贷并不意味着借款人可以完全不还钱，是否需要还款取决于借贷合同的有效性及具体情况。
一、借贷合同的有效性
合同有效的情况：
- 如果放贷行为虽然存在违法违规情节，但并未违反法律法规的强制性规定，也未损害国家利益和社会公共利益，那么借贷合同仍然有效。例如，某些金融机构在发放贷款时可能违反了内部管理规定，但这并不影响合同的法律效力。
- 在这种情况下，借款人必须按照合同约定履行还款义务，包括本金和合法利息。如果拒不还款，放贷机构有权通过法律途径追讨，如提起诉讼要求偿还借款本金、利息及其他费用。
合同无效的情况：
- 若放贷行为违反了法律法规的强制性规定，如没有金融业务资质的机构或个人以营利为目的向不特定对象发放贷款，或者贷款利率构成高利贷等，则借贷合同可能被视为无效。
- 在此情况下，借款人通常只需返还借款本金，因为借款本金是基于实际资金交付而产生的，不构成不当得利。对于已支付的超过法定标准的利息，借款人可以要求返还；未支付的利息则无需再按原合同约定支付。
二、特殊情况下的处理
存在欺诈、胁迫等情形：
- 如果放贷方在放贷过程中存在欺诈、胁迫等违法行为，导致借款人在违背真实意思的情况下订立借贷合同，借款人可以依法请求撤销合同。撤销后，借款人应返还借款本金，但利息部分需根据具体情况处理，通常不需支付超过法定标准的利息。
涉及非法活动：
- 若放贷行为本身是为了从事非法活动，如洗钱、非法集资等，这种借贷关系不受法律保护。借款人不仅无需偿还所谓的“借款”，还应积极配合相关部门调查，提供相关证据以维护自身合法权益和社会公共利益。
三、不还借款的后果
- 不还非法放贷的钱也可能导致一系列不良后果，包括面临法律诉讼、强制执行、信用记录受损等。这将对借款人未来的金融活动产生不利影响，如贷款申请、信用卡办理等。
- 如果借款人被认定为恶意逃债或诈骗等行为，还可能面临刑事责任。
四、建议
- 积极协商：面对非法放贷情况，借款人应积极与放贷人协商解决方案，并尽快履行还款义务（在合同有效且合法的前提下）。
- 举报违法行为：如果认为放贷行为存在违法行为，可以向相关部门举报，如公安机关、金融监管机构等，以维护自身合法权益和社会公共利益。
- 寻求法律援助：在处理非法放贷问题时，借款人可以寻求专业律师的帮助，通过合法途径解决争议。
示例说明：
假设张三向一个没有金融业务资质的机构借款，并签订了借贷合同。后来，张三发现该机构的放贷行为违法，且贷款利率远高于法定标准。在这种情况下，张三可以依法主张借贷合同无效，并只需返还借款本金及合法利息。如果张三拒不还款，放贷机构可能会通过法律途径追讨，但张三可以通过法律手段维护自己的合法权益。
总之，面对非法放贷问题，借款人应根据借贷合同的有效性和具体情况来决定还款责任，并通过合法途径解决争议。如果你有具体的法律问题或需要进一步的帮助，请直接向我咨询。