针对您提出的“虚开发票用于放贷，需要向哪个部门退还”的问题，首先我要明确指出，虚开发票是违法行为，不仅违反了税收法规，也可能涉及其他法律责任。关于您提到的“退还”部门，这实际上涉及多个法律层面和行政部门的管辖。

1. 税务部门：虚开发票首先违反了税收管理法规，因此，您应当向当地税务局或税务稽查部门报告此情况。税务部门将会对虚开发票的行为进行调查，并根据调查结果采取相应的法律措施，包括但不限于追缴税款、罚款等。

2. 金融监管部门：由于您提到虚开发票与放贷行为相关，这可能涉及到金融市场的违规操作。因此，您也可以向当地的金融监管部门（如银保监会或其地方分支机构）报告此情况。金融监管部门将会对涉及放贷的金融机构或个人进行调查，以确认是否存在违法违规行为。

3. 公安机关：如果虚开发票和放贷行为涉嫌犯罪（如诈骗、非法集资等），您还可以向当地公安机关报案。公安机关将会对此进行刑事侦查，并根据调查结果决定是否立案追诉。

综上所述，虚开发票用于放贷的行为涉及多个法律层面和行政部门的管辖。您应当根据具体情况，向税务部门、金融监管部门或公安机关报告此情况，并配合相关部门的调查工作。同时，我也建议您咨询专业律师，以便更全面地了解您的法律义务和权益。如果您有任何进一步的法律问题，可以直接向我提问。