结论前置：仅凭“借别人钱但是中间还过钱人家给退回了”这一行为，不能直接判定为诈骗罪。诈骗罪的认定需要满足一系列严格的法律要件，不能仅凭单一行为或片段事实就作出判断。

详细分析：

1. 诈骗罪的法律构成要件：

   • 主观方面：诈骗罪要求行为人具有非法占有的目的，即意图通过欺骗手段非法获取他人财物。
   • 客观方面：行为人必须实施了欺骗行为，使被害人产生错误认识，并基于这种错误认识处分了财物，且行为人因此获得了财物。
   • 因果关系：欺骗行为与被害人处分财物之间必须存在因果关系，即被害人的处分行为是基于欺骗行为而产生的。

2. 针对您描述的情况分析：

   • 借款与还款行为：您提到“借别人钱但是中间还过钱人家给退回了”，这描述了一个借款和还款的过程，但并未明确说明借款时是否存在欺骗行为，以及还款被退回的具体原因。
   • 非法占有目的的缺失：如果借款时您并无非法占有的目的，而是出于真实的需求借款，并计划按时还款，那么即使后续还款被退回，也不构成诈骗罪。还款被退回可能由于多种原因，如对方不需要资金、转账错误等，这些并不直接等同于诈骗。
   • 欺骗行为的缺失：诈骗罪要求存在欺骗行为，即虚构事实或隐瞒真相。如果您在借款时并未虚构任何事实或隐瞒真相，而是如实告知了借款用途、还款计划等，那么即使后续还款出现问题，也不构成诈骗罪。

3. 可能涉及的其他法律问题：

   • 民事纠纷：如果借款和还款过程中存在争议，如还款金额、还款时间等，这可能构成民事纠纷，而非刑事犯罪。双方可以通过协商、调解或诉讼等方式解决争议。
   • 其他犯罪行为：如果借款过程中存在其他犯罪行为，如伪造文件、冒用他人身份等，那么可能构成其他犯罪，但这与诈骗罪是不同的。

法律建议：

• 保留证据：如果您涉及此类纠纷，建议保留好所有相关的借款合同、转账记录、聊天记录等证据，以便在需要时证明自己的清白。
• 寻求法律帮助：如果您对法律问题存在疑问或担忧，建议及时咨询专业律师，以便获得更具体、更专业的法律建议。

总结：诈骗罪的认定需要满足严格的法律要件，不能仅凭单一行为或片段事实就作出判断。在您描述的情况下，如果借款时并无非法占有的目的和欺骗行为，那么即使后续还款被退回，也不构成诈骗罪。如有任何疑问或担忧，建议及时咨询专业律师。