结论前置：老板无缘无故扣货款的行为，在大多数情况下是不合理且不合法的。以下从不同角度为你详细分析：

从合同关系角度分析

1. 存在事实合同关系：虽然没有书面合同，但如果你能提供送货单、收货单、结算单、发票等证据，或者有证人证言、聊天记录、录音录像等能证明双方存在货物买卖的事实关系，那么你们之间就形成了事实上的合同关系。根据《中华人民共和国民法典》第四百六十九条：“当事人订立合同，可以采用书面形式、口头形式或者其他形式。”所以，口头约定也是合同的一种形式，只要双方意思表示真实，内容不违反法律法规的强制性规定，合同就成立并生效。老板扣货款的行为就违反了合同中关于支付货款的约定，属于违约行为，是不合理且不合法的。
2. 不存在合同关系：如果你无法提供任何证据证明双方存在货物买卖的事实关系，那么从法律上可能难以认定你们之间存在合同关系。在这种情况下，老板扣货款的行为虽然从道德层面可能不合理，但从法律层面可能难以直接认定其违法。不过，如果老板扣货款的行为给你造成了实际损失，且你能证明该损失与老板的行为存在因果关系，你仍可以尝试通过其他法律途径（如侵权之诉）来维护自己的权益。

从货款扣除的合法性角度分析

1. 有合法依据的扣除：如果老板扣货款是因为你提供的货物存在质量问题、数量短缺等符合合同约定或法律规定的扣除情形，且老板能够提供充分的证据证明这些情形的存在，那么老板扣货款的行为可能是合理且合法的。但即便如此，老板也应当按照合同约定或法律规定的程序进行扣除，并及时通知你扣除的原因和金额。
2. 无合法依据的扣除：如果老板扣货款没有合法的依据，即你提供的货物不存在质量问题、数量也不短缺，老板也无法提供其他合理的扣除理由，那么老板的行为就是不合理且不合法的。在这种情况下，你有权要求老板返还被扣除的货款，并可以依法向法院提起诉讼，要求老板承担违约责任或侵权责任。

法律建议

1. 收集证据：首先，你需要尽可能收集能够证明双方存在货物买卖事实关系的证据，如送货单、收货单、结算单、发票、聊天记录、录音录像等。这些证据将是你维护自己权益的重要武器。
2. 与老板协商：在收集到一定证据后，你可以尝试与老板进行协商，要求老板返还被扣除的货款。在协商过程中，你可以向老板说明你的立场和依据，并尝试达成和解协议。
3. 寻求法律帮助：如果协商无果，你可以考虑寻求法律帮助。你可以向我咨询具体的法律问题，或者委托律师代理你进行诉讼。在诉讼过程中，你需要按照法院的要求提供证据、参加庭审等，以维护自己的合法权益。

最后，货款纠纷是常见的商业纠纷之一，但通过合理合法的途径，我们往往能够有效地维护自己的权益。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。