买厂房400万保证金不退是否违法，需根据具体情况判断，不能一概而论。以下从不同角度进行分析：
一、保证金退还的法律依据
在房屋买卖，包括厂房买卖中，保证金的退还通常受到《中华人民共和国民法典》等相关法律法规的调整。根据这些法律，保证金的退还与否，主要取决于双方签订的合同条款以及合同履行过程中的具体情况。
二、合同条款的约定
合同明确约定退还条件：
- 如果双方在合同中明确约定了保证金的退还条件，如“在合同履行完毕或双方协商一致解除合同后，保证金应全额退还”，那么，在满足这些条件时，卖方不退还保证金就构成了违约，是违法的。
合同未明确约定退还条件：
- 如果合同中没有明确约定保证金的退还条件，或者约定不明确，那么，保证金的退还就需要根据合同的实际履行情况、双方的协商以及相关法律法规的规定来判断。
三、合同履行过程中的具体情况
买方违约：
- 如果买方在合同履行过程中存在违约行为，如未按照约定支付房款、未按照约定时间接收厂房等，那么，卖方有权根据合同约定或相关法律法规的规定，扣除部分或全部保证金作为违约金或赔偿金。在这种情况下，卖方不退还保证金可能是合法的。
卖方违约：
- 如果卖方在合同履行过程中存在违约行为，如未按照约定交付厂房、交付的厂房存在质量问题等，那么，买方有权要求卖方退还保证金，并可能要求卖方承担违约责任。在这种情况下，卖方不退还保证金就是违法的。
双方协商一致：
- 如果双方在合同履行过程中协商一致，决定不退还保证金或部分退还保证金，那么，这种决定是合法的，因为双方已经达成了新的合意。
四、法律建议
审查合同条款：
- 买方在签订合同时，应仔细审查合同条款，特别是关于保证金退还的条款，确保自己的权益得到充分保障。
保留相关证据：
- 在合同履行过程中，买方应保留好相关证据，如付款凭证、合同文本、沟通记录等，以便在发生纠纷时能够证明自己的主张。
寻求法律帮助：
- 如果买方认为卖方不退还保证金的行为违法，或者双方在保证金退还问题上存在争议，买方可以寻求法律帮助，通过诉讼或仲裁等方式解决纠纷。
总结来说，买厂房400万保证金不退是否违法，取决于合同条款的约定以及合同履行过程中的具体情况。如果买方认为自己的权益受到侵害，建议咨询专业律师（即向我咨询），以便更好地维护自己的合法权益。