一般情况下，个人借款不需要退款给纪委，但存在特定违法违纪情形时可能需要配合调查并退还相关款项。以下从不同角度进行分析：

1. 正常个人借款情形
   若借款行为本身合法合规（如亲友间正常借贷、银行贷款等），且资金用途未涉及违法违纪活动，则无需向纪委退款。纪委主要查处公职人员违纪违法行为，普通公民的合法借贷关系受《民法典》保护，债务人只需按约定向债权人还款即可。

2. 涉及公职人员违纪的借款情形

   • 利益输送型借款：若借款是公职人员利用职务便利为他人谋利后，以“借款”名义收受财物（如低息或无息借款、长期不还且无合理理由），可能构成受贿。此时，纪委可能要求公职人员退还违纪所得，但退款对象通常是国库或相关单位，而非直接退给纪委。
     
   • 违规参与营利活动：若公职人员违规从事借贷营利活动（如违规放贷、利用职权为借款提供便利），纪委可能要求其退出违规所得，退款流程需按组织程序处理。

3. 借款资金来源违法情形
   若借款资金本身是赃款（如贪污、挪用公款所得），或借款被用于违法活动（如行贿、赌博），则可能涉及刑事犯罪。此时，司法机关会依法追缴赃款，退款对象是司法机关或受害方，纪委可能介入调查但非直接收款方。

建议：

• 若您是普通公民，且借款行为合法，无需主动联系纪委退款；
  
• 若您是公职人员，或借款涉及上述违纪违法情形，建议立即配合组织调查，并咨询专业律师梳理资金流向、固定证据，避免法律风险升级。
  

如有进一步细节（如借款对象、资金用途、是否涉及公职等），可向我补充说明，我会为您具体分析。