结论前置：作为中间人，若你并未参与骗子的诈骗行为，且已将钱款退还给被害人，一般情况下不构成诈骗罪。但具体是否构成诈骗，还需根据你在整个事件中的具体行为、主观意图以及钱款流向等因素综合判断。
分析说明：
诈骗罪的构成：
- 诈骗罪是指以非法占有为目的，使用欺骗方法，骗取数额较大的公私财物的行为。
- 构成诈骗罪需要满足四个要件：欺骗行为、使对方产生错误认识、使对方基于错误认识处分财产、行为人或者第三者获得财产、被害人遭受财产损失。
你的行为分析：
- 你作为中间人，若只是帮忙介绍或传递信息，并未直接参与骗子的诈骗行为，那么你的行为本身并不构成诈骗。
- 你已将钱款退还给被害人，这表明你并没有非法占有被害人财物的目的，也进一步降低了构成诈骗罪的风险。
特殊情况考虑：
- 若你在整个过程中存在与骗子共谋、明知是诈骗行为而故意参与、或者从诈骗行为中获利等情况，那么你的行为可能构成诈骗罪的共犯。
- 若你虽然作为中间人，但并未完全了解事情真相，且在发现诈骗行为后未及时采取措施防止损失扩大，那么你的行为虽可能不构成诈骗罪，但可能涉及其他法律责任或道德责任。
法律建议：
- 若你担心自己可能涉及法律责任，建议尽快咨询专业律师，详细陈述事情经过，以便获得更准确的法律意见。
- 在未来类似情况下，应谨慎行事，充分了解事情真相，避免参与任何可能涉及诈骗的行为。
- 若发现诈骗行为，应及时向公安机关报案，以维护自己和他人的合法权益。
综上所述，作为中间人，若你并未参与骗子的诈骗行为，且已将钱款退还给被害人，一般情况下不构成诈骗罪。但具体是否构成诈骗，还需根据具体情况综合判断。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。