结论：借了违法人的钱并且已经归还，一般情况下您不需要再承担额外的法律责任，但具体还需根据借款的合法性、资金来源、借款用途以及是否涉及其他违法行为等因素综合判断。
一、借款合法性角度
借款合同效力：
- 如果借款合同本身因违反法律、行政法规的强制性规定或公序良俗而无效，那么您虽然已经归还了借款，但合同自始无效，您无需承担基于有效合同的还款责任（实际上您已经归还，这一点已无需再议）。然而，若因合同无效给对方造成损失，且您存在过错，可能需承担一定的赔偿责任，但这种情况较为少见，且需具体分析过错程度和损失大小。
资金来源合法性：
- 如果出借人的资金来源非法（如盗窃、诈骗等），这并不影响您作为借款人的还款责任履行情况。您已经归还了借款，且资金来源的非法性并不直接导致您承担法律责任。但出借人可能因资金来源非法而面临法律制裁。
二、借款用途角度
合法用途：
- 如果借款用于合法用途，且您已经按照约定归还了借款，那么您无需承担任何额外责任。
非法用途：
- 如果借款被用于非法活动（如赌博、贩毒等），且您明知或应知借款用途非法而仍提供借款，那么您可能因共同参与非法活动而面临法律责任。但如果您在借款时并不知情借款用途非法，且已经归还了借款，那么您通常不需要承担法律责任。不过，如果因借款用途非法导致您被卷入相关法律纠纷，您可能需要配合调查或提供相关证据以证明自己的清白。
三、其他特殊情况
高利贷：
- 如果借款属于高利贷范畴（即利率超过法定上限），那么超出部分的利息您无需归还。但如果您已经归还了全部借款（包括超出法定上限的利息），且没有证据表明您是在被胁迫或欺诈的情况下归还的，那么您通常无法要求出借人返还超出部分的利息。不过，高利贷行为本身可能受到法律制裁，但这与您作为借款人的还款责任无关。
诈骗或胁迫：
- 如果您是在被诈骗或胁迫的情况下借款并归还的，那么您可能有权要求撤销借款合同或寻求法律救济。但这种情况需要您提供充分的证据来证明自己是在被诈骗或胁迫的情况下进行的借款和还款行为。
建议：如果您已经归还了借款，且没有涉及上述任何特殊情况，那么您通常不需要再承担额外的法律责任。然而，如果您对借款的合法性、资金来源、借款用途或任何其他方面存在疑虑，或者您担心自己可能因此面临法律纠纷，建议您保留好相关证据（如借款合同、还款凭证、聊天记录等），并直接向我咨询以获取更具体的法律建议。