中间人退钱了是否构成诈骗，需结合具体情况综合判断，关键在于其行为时的主观意图、客观行为以及退钱的时间与动机。以下是对此问题的详细分析：

1. 构成诈骗的情况

   • 事先故意：如果中间人事先具有非法占有的目的，通过编造虚假项目、事实或隐瞒真相等手段骗取他人财物，即便后续因害怕被追究而退钱，其诈骗行为已经完成且既遂，依然构成诈骗罪。不过，退钱行为可以作为量刑时的从轻或减轻处罚情节考虑。
   • 共犯情况：如果中间人事前知道或应当知道对方在实施诈骗行为，仍然为其提供帮助或参与其中，即使事后退钱，也可能构成诈骗罪的共犯。

2. 不构成诈骗的情况

   • 无诈骗故意：若中间人在事情发展过程中没有诈骗的故意，只是由于误解、沟通不畅或客观原因导致经济往来问题，并及时将钱退还，一般不构成诈骗。这种情况下，资金往来可能属于民事经济纠纷范畴。
   • 民事纠纷处理：若资金往来存在误解或属于民事经济纠纷，中间人在意识到问题后退还钱财，这是对民事问题的正常处理，不涉及诈骗犯罪。

3. 退钱时间与动机的影响

   • 主动退钱：在诈骗行为被发现或立案前主动退钱，可能表明中间人有悔过态度，这种行为在量刑时可能作为从轻或减轻处罚的情节考虑。
   • 掩盖犯罪事实：如果退钱是为了掩盖犯罪事实或逃避法律追究，这种行为可能被视为妨害司法公正，并可能受到法律的制裁。

法律责任与量刑的考量：

• 根据《中华人民共和国刑法》的相关规定，诈骗公私财物数额较大的将受到刑事处罚。量刑时，法院会综合考虑中间人的诈骗数额、退赃情况、认罪态度以及被害人的谅解程度等因素。
• 积极退赔并取得被害人谅解的中间人，可能面临更轻的刑事处罚或者免予刑事处罚。

建议与防范措施：

• 在选择中间人时，应谨慎核实其资质和信誉，避免与有不良记录或可疑行为的人进行经济往来。
• 保留好相关证据，如合同、收据、聊天记录等，以便在发生纠纷时维护自己的合法权益。
• 如遭遇诈骗，应及时报警并向相关部门投诉，同时寻求我的帮助，通过法律途径追究诈骗者的责任并挽回损失。

综上所述，中间人退钱了是否算诈骗，需结合其主观意图、客观行为、退钱时间与动机等多方面因素进行综合判断。在处理此类问题时，应严谨细致，确保法律的公正与权威。如果你有具体的案情或疑问，可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。