加工厂发过去的面料不给回货，这一行为是否违法，需根据具体情况来判断。以下是从不同角度进行的分析：

1. 合同关系角度：

   • 如果您与加工厂之间签订了明确的货物买卖合同或加工承揽合同，并且合同中规定了加工厂在完成加工后应将面料（或加工后的产品）返还给您，那么加工厂不履行这一义务就构成了违约。根据《中华人民共和国民法典》的相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。因此，在这种情况下，加工厂的行为是违法的，您有权要求其继续履行合同或赔偿损失。

2. 所有权角度：

   • 如果面料的所有权在交付给加工厂后并未发生转移（例如，您只是委托加工厂进行加工，而面料的所有权仍归您所有），那么加工厂无权扣留您的面料。加工厂扣留面料的行为可能构成对您的财产权的侵犯，您有权要求其返还面料，并可能追究其侵权责任。

3. 留置权角度：

   • 需要注意的是，如果加工厂在加工过程中为您提供了劳务或材料，并且您未按照约定支付加工费或材料费，加工厂可能依法享有留置权。留置权是指债权人按照合同约定占有债务人的动产，债务人不按照合同约定的期限履行债务的，债权人有权依照法律规定留置财产，以该财产折价或者以拍卖、变卖该财产的价款优先受偿。然而，即使加工厂享有留置权，其也应在合理的期限内通知您，并在您未履行债务的情况下依法行使留置权，而非无故扣留您的面料。

建议与措施：

• 首先，您应仔细审查与加工厂签订的合同，明确双方的权利和义务。
• 如果加工厂的行为构成违约或侵权，您应与加工厂进行协商，要求其履行合同义务或返还面料。
• 如果协商无果，您可以考虑通过法律途径解决纠纷，如向法院提起诉讼或申请仲裁。

可能面临的法律后果：

• 如果加工厂的行为被认定为违约或侵权，其可能需要承担继续履行合同、赔偿损失等民事责任。
• 在某些情况下，如果加工厂的行为构成犯罪（如诈骗、侵占等），其还可能面临刑事责任。

总结与提醒：

• 加工厂发过去的面料不给回货是否违法，需根据合同关系、所有权以及留置权等因素进行综合判断。
• 在处理此类纠纷时，建议您保留好相关证据（如合同、交货凭证、沟通记录等），以便在需要时维护自己的合法权益。
• 如有任何疑问或需要进一步的法律帮助，请直接向我咨询。