结论：明知对方是非法改装车辆，并不意味着你可以直接不给钱。是否需要支付款项，取决于多个因素，包括合同的具体条款、车辆交付时的状态、以及你是否在合理期限内提出异议等。

分析：

1. 合同条款的约束：

   • 在车辆买卖合同中，双方通常会就车辆的状态、质量、交付方式等条款进行明确约定。如果合同中明确规定了车辆必须为合法改装或未改装状态，而卖方交付的车辆违反了这一约定，那么买方有权依据合同条款拒绝支付款项或要求卖方承担违约责任。
   • 如果合同中没有明确约定车辆改装状态，但买方在签订合同时已经知晓车辆为非法改装，且未提出异议，那么后续以非法改装为由拒绝支付款项可能会面临法律上的困难。

2. 车辆交付时的状态：

   • 如果车辆在交付时已经处于非法改装状态，且买方在接收车辆时并未提出异议，那么可以视为买方接受了车辆的现状。在此情况下，买方后续以非法改装为由拒绝支付款项，可能缺乏法律依据。
   • 如果买方在接收车辆时立即发现了非法改装情况，并提出了异议，那么买方有权要求卖方进行整改或解除合同，并拒绝支付相应款项。

3. 合理期限内的异议：

   • 即使合同中没有明确约定车辆改装状态，买方在发现车辆为非法改装后，也应在合理期限内向卖方提出异议。如果买方未在合理期限内提出异议，而是继续使用车辆或进行其他处置，那么可能被视为接受了车辆的现状，后续再以非法改装为由拒绝支付款项可能会面临法律上的挑战。

法律建议：

• 审查合同条款：首先，仔细审查车辆买卖合同中的相关条款，特别是关于车辆状态、质量、交付方式等方面的约定。
• 及时提出异议：如果发现车辆为非法改装，且合同中没有明确约定或你未在签订合同时知晓这一情况，应立即向卖方提出异议，并要求卖方进行整改或解除合同。
• 保留证据：在提出异议的过程中，务必保留好相关证据，如照片、视频、聊天记录等，以便在后续的法律纠纷中证明自己的主张。
• 寻求法律帮助：如果与卖方无法达成一致意见，或者卖方拒绝承担责任，建议及时寻求法律帮助，通过法律途径维护自己的合法权益。

可能法律后果：

• 如果买方无正当理由拒绝支付款项，可能会构成违约行为，需要承担违约责任，如支付违约金、赔偿损失等。
• 如果卖方交付的车辆确实存在非法改装情况，且买方在合理期限内提出了异议，那么卖方可能需要承担整改、退货、赔偿损失等责任。