结论前置：

1. 若约定司机不给钱的行为违反法律规定或合同约定，则属于违法行为。
2. 若该约定仅是双方自愿且不违反法律强制性规定的内部安排，则不一定违法，但可能引发其他法律问题。

详细分析：

首先，我们需要明确“帮人卸货约定司机不给钱”这一行为的法律性质。这通常涉及到两个方面的法律关系：一是卸货服务合同关系，二是可能的劳动或雇佣关系。

1. 从卸货服务合同关系角度看：

   • 如果双方（即货主和司机或卸货方）在合同中明确约定了卸货服务的费用，并且该费用是合理的、符合市场行情的，那么任何一方违反约定不支付费用都可能构成违约。
   • 在这种情况下，如果约定司机不给钱，即货主不支付卸货费用，而司机或卸货方已经按照约定完成了卸货任务，那么货主的行为就可能构成违约，需要承担违约责任，包括支付卸货费用和可能的违约金。

2. 从劳动或雇佣关系角度看：

   • 如果司机或卸货方与货主之间存在劳动或雇佣关系，那么货主有义务按照法律规定和合同约定支付劳动报酬。
   • 在这种情况下，如果约定司机不给钱，即货主不支付劳动报酬，那么货主的行为就可能违反劳动法规定，需要承担法律责任，包括支付劳动报酬、加班费、经济补偿金等，并可能面临劳动行政部门的处罚。

处理建议：

• 对于货主：如果确实存在卸货服务合同或劳动雇佣关系，并且约定司机不给钱的行为违反了法律规定或合同约定，那么货主应该立即纠正错误，支付应支付的费用，以避免法律纠纷和可能的法律责任。
• 对于司机或卸货方：如果货主拒绝支付费用，并且该行为违反了法律规定或合同约定，那么司机或卸货方可以通过法律途径维护自己的权益，如向劳动行政部门投诉、申请劳动仲裁或提起民事诉讼等。

额外提醒：

• 在任何交易或合作中，双方都应该明确约定各自的权利和义务，包括费用支付、服务内容、质量标准等，以避免不必要的纠纷和法律风险。
• 如果对法律条款或合同内容有疑问，建议及时咨询专业律师或法律机构，以确保自己的权益得到保障。

如果有任何具体的法律问题或需要进一步的法律建议，可以直接向我咨询。