结论是：中间人从差价中扣除三十万的行为是否犯法，取决于其行为的性质和具体情况，可能涉及违法甚至犯罪。以下是对此问题的详细分析：
一、可能涉及的违法行为
诈骗：
- 如果中间人通过虚构事实或隐瞒真相的方式，诱使工厂或另一方支付超出实际应付款项的金额，并从中非法获利，那么这种行为可能构成诈骗。
- 例如，中间人可能谎称需要支付额外的“手续费”或“中介费”，从而骗取差价。
职务侵占或贪污（如果中间人有特定身份）：
- 如果中间人是工厂的员工或代表，且利用职务之便，将本应属于工厂的款项非法占为己有，那么这种行为可能构成职务侵占或贪污。
- 但在此案例中，中间人更可能是一个独立的第三方，因此这一点的适用性可能较低，除非中间人被工厂正式授权处理此事。
不当得利：
- 即使中间人的行为不构成犯罪，但如果其没有合法依据而获得了差价中的三十万，那么这种行为可能构成不当得利。
- 在这种情况下，工厂或另一方有权要求中间人返还非法所得。
二、法律后果
- 刑事责任：如果中间人的行为构成诈骗、职务侵占或贪污等犯罪，那么其可能面临刑事处罚，包括有期徒刑、罚金等。
- 民事责任：无论中间人的行为是否构成犯罪，如果其非法获得了差价中的款项，那么工厂或另一方都有权通过民事诉讼要求其返还非法所得，并可能要求赔偿因此造成的损失。
三、建议与措施
- 收集证据：工厂或另一方应尽快收集与中间人交易相关的所有证据，包括合同、付款记录、通信记录等。
- 咨询律师：在收集到足够证据后，建议咨询专业律师以评估中间人的行为是否违法，并确定最佳的维权策略。
- 采取法律行动：如果律师认为中间人的行为违法，那么工厂或另一方可以考虑向公安机关报案或提起民事诉讼以维护自身权益。
最后需要强调的是，每个案件的具体情况都有所不同，因此无法仅凭您提供的有限信息就给出确切的法律结论。如果您或您的工厂遇到了类似的问题，建议直接向我咨询，以便我能根据具体情况提供更准确的法律建议。