不建议直接拉走没装的材料来抵扣工程款。下面是详细的分析和建议：

1. 法律层面考量：

   • 即便这些材料确实归属于您，但在工地这样特殊的环境中，随意拉走材料可能会构成违法行为。因为工地上的材料往往涉及到复杂的合同关系和产权归属，擅自拉走可能会侵犯他人的合法权益。

2. 协商沟通优先：

   • 如果工地未能按照事先的约定支付款项，您首先应该尝试通过协商和沟通的方式去处理此事，要求对方支付应付款项。这是解决纠纷最为直接和有效的方式，也是法律所鼓励的。

3. 法律途径维权：

   • 如果协商无果，您可以依据双方所签订的合同，通过法律途径来维护自己的合法权益。例如，向劳动监察部门进行投诉，申请劳动仲裁，或者直接向法院提起诉讼。这些途径都有明确的法律程序和规定，能够确保您的权益得到公正的处理。

4. 擅自拉走材料的风险：

   • 擅自拉走材料可能会让您陷入不必要的法律风险中。一旦对方报警或提起诉讼，您可能会面临法律责任和赔偿。此外，这种行为也可能损害您的声誉和信誉，对您的未来业务和发展产生不利影响。

综上所述，面对工程款不付的情况，建议您保持冷静和理性，优先通过协商和沟通的方式解决问题。如果协商无果，可以寻求法律途径的帮助，但切记不要擅自拉走材料，以免给自己带来不必要的麻烦和损失。如果您需要进一步的法律咨询或帮助，请随时向我提问。