针对你提出的“虚开发票中间人把钱拿走了退回了怎么办”的问题，这里是我的详细解答：

首先，核心结论是：虚开发票是违法行为，无论中间人是否将钱退回，都不能改变这一违法事实。你需要立即停止此类行为，并考虑采取以下措施。

1. 法律责任认知：

   • 虚开发票违反了税收管理法规，可能构成犯罪。即使中间人将钱退回，也不能免除法律责任。
   • 你需要了解虚开发票可能带来的法律后果，包括但不限于罚款、税务行政处罚、甚至刑事责任。

2. 与中间人沟通：

   • 尽管中间人已将钱退回，但你们之间的行为仍然可能涉及违法。
   • 建议与中间人进行沟通，明确双方的责任，并尽可能获取相关证据，如退款记录、聊天记录等。

3. 向税务机关报告：

   • 考虑到虚开发票的严重性，你应主动向当地税务机关报告这一情况。
   • 说明具体情况，包括虚开发票的金额、时间、涉及的公司或个人等，并提供相关证据。

4. 寻求专业法律帮助：

   • 如果你担心自己可能面临法律责任，或者对如何处理这一情况感到困惑，建议寻求专业律师的帮助。
   • 律师可以为你提供具体的法律建议，帮助你评估风险，并制定合适的应对策略。

5. 未来合规建议：

   • 虚开发票是严重的违法行为，必须坚决避免。
   • 在未来的业务活动中，应严格遵守税收管理法规，确保所有发票的真实性和合法性。

总之，虚开发票是违法的，无论中间人是否退款，都不能改变这一事实。你需要立即停止此类行为，并采取上述措施来应对可能的法律后果。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。