结论：若纪委已介入调查，您之前已将受贿钱款退给对方的行为，并不免除您在纪委调查过程中可能需要配合退还的义务，但此时退回财物可作为从轻处罚情节。具体是否需要再向纪委退钱，需结合案件具体情况判断。

分析如下：

1. 纪委介入前的退还行为：

   • 若在纪委未发觉受贿行为前，您已主动将收受财物退回给对方（或原路返还至请托人账户等），且主观上有及时纠正错误、避免危害结果发生的意图，同时符合“及时”退还的条件（即退还行为发生在受贿后较短的时间内，且未造成严重后果），则一般可不认定为受贿犯罪。但此处的“退给对方”需确保是真实、有效的退还，且能够证明退还行为的存在。

2. 纪委介入后的退还行为：

   • 若纪委已介入调查，此时您再退回财物，虽然不影响受贿行为的定性（即一旦实施了受贿行为，受贿罪即已既遂），但可作为从轻处罚情节。因为积极退赃表明您一定程度上有认罪悔罪态度，法院在量刑时会依据《刑法》相关规定，结合受贿金额、情节、退赃退赔情况等综合判定，在法定刑幅度内从轻、减轻处罚或者适用缓刑等。
   • 在此情况下，若纪委要求您退还受贿钱款，您应当配合。这是因为纪委调查是法律程序的一部分，退还钱款是配合调查、表明认罪态度的表现。即使您之前已将钱款退给对方，也可能需要根据纪委的要求，再次确认退还情况或提供相关证据。

3. “及时”退还的认定：

   • 实践中，“及时”的认定较为关键，需结合具体情况判断是否存在受贿故意以及退还财物的真实原因和时间节点等。例如，如果退还行为发生在受贿后很长时间，且期间您利用了受贿所得的不正当利益，则可能不被认定为“及时”退还。

4. 法律建议：

   • 鉴于您的情况，我建议您积极配合纪委的调查工作，如实陈述事实，提供相关证据。如果纪委要求您退还受贿钱款，您应当按照要求办理。
   • 同时，您可以考虑委托专业律师为您辩护，律师将根据您的具体情况，结合相关法律法规和司法实践，为您制定合适的辩护策略，以争取从轻或减轻处罚。

后续行动建议：

• 保持与纪委的沟通，了解调查进展和要求。
• 整理并保存与受贿、退还相关的所有证据，如转账记录、聊天记录等。
• 如有需要，及时委托专业律师介入，为您的法律事务提供专业支持。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。