中间人不退钱是否构成诈骗，需根据具体情况判断，不能一概而论。以下从不同角度进行分析：

1. 诈骗罪的构成要件：

   • 诈骗罪要求行为人以非法占有为目的，通过虚构事实或隐瞒真相的方法，骗取他人财物，且数额较大。
   • 若中间人从一开始就无归还意图，通过欺骗手段获取钱财，并用于个人挥霍或转移，可能构成诈骗罪。

2. 中间人行为的性质：

   • 如果中间人只是作为交易的中介，因某种原因（如交易失败、资金链断裂等）无法退还钱款，但并无非法占有目的，则一般不构成诈骗罪。这种情况下，可能涉及民事纠纷，如不当得利或合同违约等。
   • 若中间人在收取钱款后，未按照约定履行义务（如未将钱款转交给实际收款人），且无正当理由拒绝退还，可能涉嫌侵占罪或合同诈骗罪（如果涉及合同关系），具体取决于钱款的性质和中间人的行为方式。

3. 具体情境分析：

   • 情境一：中间人明确告知双方其将作为中介收取并转交钱款，后因故无法转交且积极退还。这种情况下，中间人无非法占有目的，不构成诈骗。
   • 情境二：中间人虚构事实或隐瞒真相，如谎称已将钱款转交实际收款人，实则未转交且用于个人消费。这种情况下，中间人具有非法占有目的，可能构成诈骗罪。
   • 情境三：中间人与一方串通，通过欺骗手段获取另一方钱款，并共同分赃。这种情况下，中间人和串通方均可能构成诈骗罪的共犯。

4. 法律建议：

   • 如果您是受害者，建议立即收集相关证据（如转账记录、聊天记录、合同等），并向公安机关报案。公安机关将根据证据情况决定是否立案侦查。
   • 如果您是中间人，且确实存在无法退还钱款的情况，建议积极与双方沟通，说明情况并寻求解决方案。同时，保留好相关证据，以证明自己无非法占有目的。

总结来说，中间人不退钱是否构成诈骗，需根据其主观意图、行为方式及钱款性质等因素综合判断。如果您面临此类问题，建议直接向我咨询，我将根据您的具体情况提供详细的法律分析和建议。