结论：当事人在留置期间已退赃退赔，到法院是否还需交钱，这并非一个绝对的问题，而是需要根据具体案情、法律规定以及司法机关的认定来综合判断。以下从不同角度进行分析：
一、退赃退赔的性质与影响
退赃退赔的性质：
- 退赃退赔是犯罪嫌疑人或被告人在刑事诉讼过程中，主动退还或赔偿因犯罪行为所获得的财物或造成的损失。
- 这一行为通常被视为犯罪嫌疑人或被告人认罪、悔罪的表现，有助于减轻其刑事责任。
退赃退赔对量刑的影响：
- 根据《中华人民共和国刑法》及相关司法解释，犯罪嫌疑人或被告人退赃退赔的，可以在量刑时予以从轻或减轻处罚。
- 但这并不意味着退赃退赔后，法院就一定不会再判决其缴纳罚金或没收财产。
二、法院判决的考量因素
犯罪性质与情节：
- 法院在判决时，会综合考虑犯罪的性质、情节、社会危害程度以及犯罪嫌疑人的认罪态度、退赃退赔情况等因素。
- 如果犯罪性质恶劣、情节严重，即使犯罪嫌疑人已退赃退赔，法院仍可能判决其缴纳罚金或没收财产。
法律规定与司法解释：
- 根据《中华人民共和国刑法》第五十二条：“判处罚金，应当根据犯罪情节决定罚金数额。”
- 第五十三条：“罚金在判决指定的期限内一次或者分期缴纳。期满不缴纳的，强制缴纳。对于不能全部缴纳罚金的，人民法院在任何时候发现被执行人有可以执行的财产，应当随时追缴。”
- 这些规定表明，罚金是法院根据犯罪情节判决的，与退赃退赔并不直接冲突。
三、可能的情况与建议
已退赃退赔且法院未判决罚金：
- 如果犯罪嫌疑人已退赃退赔，且法院在判决时未判决其缴纳罚金或没收财产，那么犯罪嫌疑人就不需要再交钱。
已退赃退赔但法院仍判决罚金：
- 如果犯罪嫌疑人已退赃退赔，但法院在判决时仍根据犯罪情节判决其缴纳罚金或没收财产，那么犯罪嫌疑人就需要按照判决缴纳相应的款项。
- 在这种情况下，犯罪嫌疑人可以提出异议或上诉，但需在法定期限内进行，并遵循相关法律程序。
建议：
- 对于犯罪嫌疑人或被告人来说，在留置期间或刑事诉讼过程中，应积极配合司法机关的工作，主动退赃退赔，以争取从轻或减轻处罚。
- 同时，也应了解相关法律规定和司法解释，以便在法院判决时能够做出合理的预期和应对。
- 如果对法院的判决有异议或疑问，可以及时向专业律师咨询，以便更好地维护自己的合法权益。
总结来说，当事人在留置期间已退赃退赔，到法院是否还需交钱，取决于具体案情、法律规定以及司法机关的认定。因此，无法给出一个绝对的答案。如果有具体的法律问题或疑虑，可以直接向我咨询，我会根据具体情况为你提供专业的法律建议。