关于贷款合同违约金是否可以协商不给的问题，这确实是一个需要综合多方面因素来考虑的问题。
首先，从法律角度看，贷款合同是双方合意的体现，违约金条款也是合同的一部分。这意味着，一旦合同签订并生效，双方都应受其约束。因此，若要协商不给违约金，首先需要与贷款方达成一致。
然而，在实际情况中，贷款方为保障自身权益，通常不太可能轻易同意免除违约金。不过，也存在一些特殊情形，使得协商免除违约金成为可能：
不可抗力因素：例如，突发自然灾害等不可预见、不可避免、不可克服的客观情况导致违约。在这种情况下，违约方可以向贷款方说明情况，并尝试协商减免违约金。
贷款方存在过错：如果是因为贷款方自身的失误，如未按合同约定提供贷款金额、未履行应尽告知义务等，导致违约方出现违约行为，那么违约方有理由与贷款方协商不支付违约金。
除了上述特殊情形外，如果违约方单纯因为自身资金安排等自身原因导致违约，且合同明确约定了违约金条款，那么贷款方通常不会轻易同意不收取违约金。不过，违约方也可以尝试与贷款方沟通，表明自己愿意尽快弥补违约行为带来的损失，并争取贷款方的谅解，从而减少或免除违约金。
此外，还需要注意的是，如果违约金过高，超过了因违约造成的合理损失的一定比例（通常为30%），违约方可以请求法院或仲裁机构适当减少违约金金额。但这并不意味着可以完全免除违约金。
综上所述，贷款合同违约金是否可以协商不给，需视具体情况而定。在协商过程中，违约方应充分说明自己的情况，并尝试与贷款方达成一致。同时，也要尊重合同的法律效力，遵守双方在合同中的约定。如果协商无果，可能需要寻求法律途径来解决争议。