这种“甲方供货由乙方代开发票”的行为属于典型的“虚开发票”行为，是违法的，必须立即停止并纠正，同时需根据实际情况采取补救措施。以下从法律定性、法律后果、补救措施三个角度详细分析：

一、法律定性：属于虚开发票行为

根据《中华人民共和国发票管理办法》第二十二条，任何单位和个人不得为他人、为自己开具与实际经营业务情况不符的发票。甲方供货却由乙方代开发票，明显存在“票货分离”的情形，即发票记载的货物或劳务与实际交易不符，属于虚开发票的典型表现。

二、法律后果：可能面临行政处罚甚至刑事责任

1. 行政处罚：
   根据《发票管理办法》第三十七条，虚开发票的，由税务机关没收违法所得；虚开金额在1万元以下的，可并处5万元以下罚款；虚开金额超过1万元的，并处5万元以上50万元以下罚款；构成犯罪的，依法追究刑事责任。
   例如：若甲方供货金额为10万元，但由乙方代开10万元发票，税务机关可对双方分别处以5万元以上罚款。

2. 刑事责任：
   若虚开发票情节严重（如虚开税款数额1万元以上或致使国家税款被骗取5000元以上），可能构成《刑法》第二百零五条之一的“虚开发票罪”，处二年以下有期徒刑、拘役或者管制，并处罚金；情节特别严重的，处二年以上七年以下有期徒刑，并处罚金。
   例如：若通过乙方代开发票导致国家税款损失超过5000元，相关责任人可能被追究刑事责任。

三、补救措施：立即整改并配合税务机关调查

1. 停止违法行为：
   双方应立即停止“甲方供货、乙方代开发票”的操作，确保后续交易中发票的开具与实际业务一致。

2. 补开发票或红冲重开：

   • 若交易真实但发票开具错误，应由甲方直接向购买方开具正确发票，或由乙方红冲原发票后由甲方重新开具。
     
   • 注意：红冲发票需符合《国家税务总局关于红字增值税发票开具有关问题的公告》的规定，否则可能被认定为虚开。

3. 配合税务机关调查：
   若已被税务机关立案调查，应主动提供交易合同、物流单据、付款凭证等证据，证明交易真实性，争取从轻处理。
   例如：若能证明甲方实际供货且乙方未从中获利，可能仅被认定为“程序违规”而非“故意虚开”。

4. 内部整改与合规建设：

   • 建立发票管理制度，明确“谁供货谁开票”的原则，禁止代开发票行为。
     
   • 定期对财务人员进行税务合规培训，避免因操作失误引发法律风险。

最后提醒：发票管理是税务合规的核心环节，任何试图通过“代开发票”规避税收的行为都可能面临严重法律后果。若您或您的企业涉及此类问题，建议立即梳理交易流程，必要时可向我进一步咨询具体整改方案。