对方不给钱就不给发票的行为，可能涉及违法。针对这一问题，我们可以从以下两个方面进行分析：

一. 发票的开具与款项支付的关系

1. 发票是交易凭证：根据《中华人民共和国发票管理办法》第三条，发票是指在购销商品、提供或者接受服务以及从事其他经营活动中，开具、收取的收付款凭证。因此，发票是交易双方完成经济交易的凭证。
2. 款项支付与发票开具：通常情况下，交易双方会在合同中约定款项支付与发票开具的条件和时间。如果合同明确约定了先付款后开发票，或者同时进行，那么对方在未支付款项的情况下要求开具发票是不合理的。但并不能因此就拒绝开具发票，因为发票的开具与税收相关，必须依法进行。

二. 法律后果

1. 可能构成偷税：如果因为对方未支付款项而拒绝开具发票，且此行为导致了税收的流失，那么根据《中华人民共和国税收征收管理法》及其实施细则的相关规定，这种行为可能构成偷税，需要承担相应的法律责任。
2. 合同违约：如果合同中明确约定了发票的开具与款项支付的关系，对方不支付款项却要求开具发票，可能构成合同违约。此时，可以依据《中华人民共和国合同法》的相关规定，追究对方的违约责任。

我的观点：对方不给钱就不给发票的行为，虽然可能基于合同约定的款项支付与发票开具的关系而有所争议，但绝不能因此就拒绝开具发票。因为发票的开具与税收紧密相关，必须依法进行。如果因此导致了税收的流失，或者构成了合同违约，都需要承担相应的法律责任。因此，我建议在实际交易中，应严格按照合同约定和法律法规的要求，妥善处理款项支付与发票开具的关系，避免不必要的法律纠纷。如有进一步需要，您可以继续咨询我。