结论前置：在调解约定诉讼费由被告支付给原告的情况下，法院是否需要退费，主要取决于调解书的具体执行情况及原告是否已预交诉讼费。若原告已预交且调解书确定由被告承担，则原告有权申请退费，但需在被告实际支付后或通过法院执行程序确保费用到位后进行。

一、调解书中的诉讼费承担约定

在调解过程中，双方当事人可以就诉讼费的承担进行协商，并明确写入调解书。若调解书约定诉讼费由被告支付给原告，这一约定具有法律效力，被告应当履行。然而，这一约定并不直接决定法院是否需要退费，而是决定了诉讼费的最终承担方。

二、法院退费的条件与流程

1. 原告已预交诉讼费：

   • 通常情况下，原告在提起诉讼时需要预交诉讼费。若调解书确定由被告承担诉讼费，且原告已预交，则原告在调解书生效后，有权申请退还其已预交的诉讼费。

2. 被告实际支付或法院执行到位：

   • 退费的前提是被告已按照调解书的约定实际支付了诉讼费，或者法院通过执行程序确保了诉讼费的到位。若被告未履行支付义务，原告虽享有退费权利，但需通过法院执行程序向被告追缴诉讼费后，再行申请退费。

3. 提交退费申请：

   • 原告需在调解书生效后，持生效调解书、预交诉讼费凭证等材料，向法院的诉讼费退费窗口或相关负责部门提出书面退费申请。

4. 法院审核与退费：

   • 法院会对原告的退费申请进行审核，确认调解书中关于诉讼费承担的内容，并核实原告预交诉讼费的凭证和信息。审核无误后，法院将按照财务规定办理退费手续，并在合理时间内将诉讼费退还给原告。

三、特殊情况处理

1. 调解书未明确退费时间：

   • 若调解书未明确退费的具体时间或方式，原告应在调解书生效后尽快向法院提交退费申请，并关注法院的通知和指示，了解退费的最新进度和需要配合的事项。

2. 被告拒不履行支付义务：

   • 若被告拒不履行调解书中关于支付诉讼费的约定，原告可以向法院申请强制执行。法院将通过执行程序向被告追缴诉讼费，并保障原告的退费权利。

四、建议与注意事项

1. 保留好相关凭证：

   • 原告应妥善保管好预交诉讼费的凭证、调解书等材料，以便在申请退费时提供证明。

2. 及时关注退费进度：

   • 在提交退费申请后，原告应密切关注法院的通知和指示，了解退费的最新进度和需要配合的事项。如有任何疑问或问题，应及时与法院沟通解决。

3. 咨询专业律师（此条根据约束条件调整为）：如有任何法律疑问或需要进一步的法律帮助，可以直接向我咨询。

综上所述，调解约定诉讼费由被告支付给原告时，法院是否需要退费取决于调解书的具体执行情况及原告是否已预交诉讼费。原告应在调解书生效后，根据实际情况及时向法院提交退费申请，并关注退费的最新进度。如有任何法律疑问或需要进一步的法律帮助，可以直接向我咨询。