若借来的钱被认定为违法所得并被追回，借款人可能需要承担返还义务，甚至可能面临法律责任，具体需分情况讨论：
一、借款人是否知情借款来源违法
借款人知情：
- 法律责任：如果借款人明知借款来源违法（如借款来自赌博、贩毒等非法活动）仍然接受借款，那么根据相关法律法规，这笔借款可能被认定为违法所得，依法应当予以追缴或没收。借款人不仅需要返还借款，还可能因参与非法活动而面临刑事处罚，如罚款、拘留甚至有期徒刑等。
- 返还义务：借款人必须无条件返还借款，且可能无法主张任何利息或费用。若借款人已将借款用于非法活动，还可能面临更严重的法律后果。
借款人不知情：
- 法律责任：如果借款人对借款来源的违法性并不知情，且没有参与任何非法活动，那么借款人通常不需要承担刑事责任。但是，借款人仍然需要返还借款，因为借款行为本身并不因借款来源的违法性而无效，但借款人可以主张自己为善意第三人，可能在一定程度上减轻或免除部分责任（具体需根据案件实际情况和法院判断）。
- 返还义务：借款人需返还借款本金，但可能无需支付利息或费用（具体需根据借款合同约定及法院判断）。若借款人已将借款用于合法用途且无法立即返还，可与出借人协商分期返还或提供其他担保措施。
二、借款是否已被用于非法活动
借款已被用于非法活动：
- 法律后果：无论借款人是否知情，如果借款已被用于非法活动（如赌博、贩毒等），那么这笔借款及其产生的收益都将被依法追缴或没收。借款人不仅需要返还借款本金，还可能因参与非法活动而面临刑事处罚。
- 返还与追缴：借款人需积极配合相关部门进行返还和追缴工作，否则可能面临更严重的法律后果。
借款未被用于非法活动：
- 法律后果：如果借款未被用于非法活动，且借款人不知情借款来源的违法性，那么借款人通常只需要返还借款本金，并可能无需承担其他法律责任。但是，如果借款人知情或应当知情借款来源的违法性，仍然接受借款，那么借款人可能需要承担一定的法律责任。
三、实际操作建议
- 立即停止使用借款：一旦发现借款来源可能违法或已被认定为违法所得，借款人应立即停止使用借款，并尽快与出借人沟通返还事宜。
- 保留证据：借款人应保留与借款相关的所有证据（如借款合同、转账记录、聊天记录等），以便在需要时证明自己的清白或主张权益。
- 咨询专业律师：在处理此类复杂法律问题时，借款人应尽快咨询专业律师，了解自己的法律权利和义务，以及可能面临的法律后果。律师可以根据借款人的具体情况提供个性化的法律建议和解决方案。
- 积极配合调查：如果相关部门对借款来源或用途进行调查，借款人应积极配合调查工作，提供真实、准确的证据和信息。
最后需要强调的是，民间借贷虽然是一种常见的融资方式，但借款人和出借人都应严格遵守法律法规，确保借款来源和用途的合法性。若遇到相关法律问题，可直接向我咨询，我会结合你的具体情况提供专业的法律建议。