结论：食堂钱退下来别人不给，不一定构成诈骗，是否构成诈骗需结合具体情况判断。以下从不同角度为你详细分析：
一、诈骗的构成要件
诈骗是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取款额较大的公私财物的行为。其构成要件主要包括：
- 主观方面：行为人具有非法占有的目的，即意图通过欺骗手段获取他人财物，且没有归还的意图。
- 客观方面：行为人实施了虚构事实或隐瞒真相的行为，使被害人产生错误认识，并基于这种错误认识处分了财物。
- 因果关系：被害人的财产损失与行为人的欺骗行为之间存在直接的因果关系。
二、食堂钱退下来别人不给的具体分析
若存在欺骗行为：
- 如果对方在退款过程中，通过虚构事实（如声称已退款但实际上未退）或隐瞒真相（如隐瞒退款的真实情况）的方式，使你产生错误认识，并基于这种错误认识将钱“退”给了对方，而对方实际上并无退款意图，那么这种行为可能构成诈骗。
- 举例：对方声称已将食堂费用退还至你的账户，但实际上并未操作，你基于对方的虚假陈述将钱转给了对方，且对方收款后拒不归还，此时可能构成诈骗。
若不存在欺骗行为：
- 如果对方并未实施虚构事实或隐瞒真相的行为，而是由于某种原因（如财务流程错误、沟通不畅等）导致退款未及时到账或未到账，且对方并无非法占有的目的，那么这种行为通常不构成诈骗。
- 举例：对方因财务流程繁琐或系统故障导致退款延迟，且对方一直在积极处理并承诺尽快退款，此时不构成诈骗。
三、法律建议
- 收集证据：如果你认为对方的行为可能构成诈骗，应尽快收集相关证据，如聊天记录、转账记录、退款协议等，以证明对方存在欺骗行为及你的财产损失。
- 协商解决：在收集证据的同时，可以尝试与对方协商解决，要求对方尽快退款或给出合理的解释。
- 报警处理：如果协商无果，且你认为对方的行为确实构成诈骗，可以向公安机关报案，由公安机关进行调查处理。
- 法律途径：如果公安机关不予立案或你对方的处理结果不满意，还可以考虑通过法律途径解决，如向法院提起民事诉讼或刑事自诉（如果构成犯罪的话）。
四、可能的法律后果
- 如果构成诈骗：对方可能面临刑事处罚，如有期徒刑、拘役或罚金等，同时还需要承担民事赔偿责任，即退还你的财产损失。
- 如果不构成诈骗：对方可能只需承担民事责任，如退还你的财产损失或赔偿你的相关损失（如利息、诉讼费等）。
最后提醒：在处理此类问题时，请保持冷静和理性，不要轻信对方的片面之词，也不要采取过激行为。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。