您方因合同对方未提供正规发票导致被税务处罚，有权依据《民法典》及《税收征收管理法》向对方追偿损失。具体分析如下：

1. 《民法典》中的违约责任条款
   根据《民法典》第五百七十七条，若对方未按合同约定履行义务（如未提供合规发票），构成违约，您方有权要求其承担违约责任，包括赔偿因违约导致的直接损失（如税务罚款、滞纳金等）。

   • 操作建议：检查合同中是否明确约定“对方需提供正规发票”及“违约赔偿条款”。若有，可直接依据合同主张权利；若无，仍可依据法定违约责任要求赔偿。

2. 《税收征收管理法》中的配合义务
   根据《税收征收管理法》第二十一条，税务机关在发票管理中有权要求销售方（即合同对方）提供发票，且购买方（您方）有权索取发票。若对方拒不提供，可能面临行政处罚（如罚款），而您方因对方违法行为遭受的损失，可向其追偿。

   • 操作建议：保留税务机关出具的处罚决定书、罚款缴纳凭证等证据，证明损失与对方行为存在直接因果关系。

3. 《发票管理办法》中的具体规定
   根据《发票管理办法》第十九条，销售方在收取款项时应当向购买方开具发票。若对方未履行该义务，您方可向税务机关举报（税务机关将对其处罚），同时可依据前述法律主张民事赔偿。

   • 操作建议：先通过书面函件催告对方提供发票，并留存催告记录（如邮件、短信等），以证明您方已履行合理注意义务。

总结：您方可通过以下步骤追偿：

1. 收集证据（合同、催告记录、税务处罚决定书、罚款凭证等）；
   
2. 与对方协商赔偿，明确告知其法律责任；
   
3. 若协商无果，可向法院起诉，主张违约赔偿或侵权损害赔偿。
   

如有进一步疑问，可直接向我咨询，我会结合具体案情为您详细分析。