结论：仅根据您所描述的情况，即收了工程款50000元但没有安排进厂干活且后续退还了款项，并不直接构成诈骗罪，但具体还需结合其他因素综合判断。以下是从不同角度的详细分析：

1. 诈骗罪的构成要件：

   • 诈骗罪要求行为人以非法占有为目的，通过虚构事实或隐瞒真相的方法，骗取公私财物。
   • 在您描述的情况中，虽然收取了工程款，但后续退还了款项，这表明行为人可能并没有非法占有的目的。然而，如果行为人在收款时就没有打算履行合同义务，即没有安排进厂干活的意图，而是意图骗取款项，那么可能构成诈骗罪的未遂或既遂（取决于款项退还的时间点与诈骗行为的完成情况）。

2. 合同纠纷的角度：

   • 从合同纠纷的角度来看，如果双方签订了工程合同，一方支付了工程款，但另一方未按合同约定安排进厂干活，这更可能构成合同违约。
   • 在这种情况下，支付工程款的一方可以依据合同条款要求违约方承担违约责任，如退还工程款、支付违约金等。

3. 关键因素的综合判断：

   • 行为人的主观意图：是意图骗取款项还是由于其他原因（如资金周转问题、管理不善等）导致无法履行合同。
   • 款项退还的时间点：如果是在对方发现并要求退还后迅速退还，可能更倾向于合同违约；如果是在长时间拖延后或对方采取法律手段后才退还，则可能涉及诈骗的嫌疑。
   • 其他证据：如双方之间的沟通记录、合同条款、行为人的经济状况等，都可能成为判断行为性质的关键因素。

4. 法律建议：

   • 如果您是支付工程款的一方，且怀疑对方存在诈骗行为，建议立即收集相关证据（如合同、付款凭证、沟通记录等），并向当地公安机关报案。
   • 如果您是收取工程款的一方，且确实存在无法履行合同的情况，建议尽快与对方协商解决方案，如退还工程款、支付违约金等，以避免法律纠纷的升级。

总结：虽然您描述的情况并不直接构成诈骗罪，但具体还需结合行为人的主观意图、款项退还的时间点以及其他证据来综合判断。如果您或对方对此存在争议，建议寻求专业法律帮助以明确责任并妥善处理纠纷。如果您有任何进一步的法律问题或需要更详细的法律建议，请直接向我咨询。