结论：不按合同直接走是否会被扣钱，这主要取决于租赁合同中的具体约定以及相关法律法规的规定。以下从多个角度进行分析：
合同约定角度：
- 有明确约定：如果租赁合同中明确规定了提前解约或未按合同履行时的违约金或赔偿条款，那么不按合同直接走，出租方有权根据合同约定扣除相应的违约金或要求赔偿损失。这种情况下，承租方需要承担合同约定的法律责任。
- 无明确约定：如果租赁合同中没有明确规定提前解约或未按合同履行的违约责任，那么出租方通常不能直接扣除承租方的钱款。但出租方仍可能通过法律途径要求承租方承担因违约造成的实际损失。
法律法规角度：
- 一般规定：根据《中华人民共和国民法典》的相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。这意味着，即使合同中没有明确约定，承租方不按合同履行也可能需要承担法律责任。
- 租赁合同特殊规定：在租赁合同中，如果承租方未经出租方同意擅自退租或未按合同约定支付租金等，出租方有权要求承租方支付违约金或赔偿损失。但具体数额和方式需根据合同内容和实际情况进行判断。
实际操作角度：
- 沟通协商：在决定不按合同直接走之前，建议承租方与出租方进行充分沟通协商，尽量达成一致意见，以避免不必要的法律纠纷和经济损失。
- 法律途径：如果双方无法协商一致，出租方或承租方均可通过法律途径解决纠纷。此时，法院或仲裁机构将根据合同内容、相关法律法规以及实际情况进行裁决。
建议：
- 在签订租赁合同时，务必仔细阅读合同条款，特别是关于违约责任和赔偿方面的约定，确保自己能够理解和接受。
- 如果确实需要提前解约或未按合同履行，建议提前与出租方沟通协商，尽量达成一致意见并签订书面协议，以避免后续纠纷。
- 如果遇到法律纠纷或无法协商一致的情况，建议及时咨询专业律师（如我），以便更好地维护自己的合法权益。
示例：
假设租赁合同中明确规定了提前解约需支付一个月租金作为违约金，且承租方在未与出租方协商的情况下直接搬离。那么，出租方有权根据合同约定扣除承租方一个月的租金作为违约金。如果合同中没有此类约定，但承租方的行为确实给出租方造成了损失（如房屋空置期间的租金损失等），出租方仍可能通过法律途径要求承租方承担赔偿责任。