虚开增值税专用发票等发票的行为，并不需要双方都认定才构成违法，只要存在虚开或虚抵的行为，并满足相关法律规定的构成要件，即可单独认定。以下是对此问题的详细分析：

1. 虚开方的责任：

   • 虚开方是指故意为他人虚开、为自己虚开、让他人为自己虚开、介绍他人虚开增值税专用发票等发票的行为主体。
   • 虚开方的行为扰乱了发票的管理秩序，可能构成虚开增值税专用发票、用于骗取出口退税以及抵扣税款发票等罪。
   • 虚开方在主观上存在故意开具与实际经营业务不相符发票的行为，因此需承担相应的法律责任。

2. 虚抵方的责任：

   • 虚抵方是指明知发票不合法或与实际经营业务不一致，却仍进行抵扣的行为主体。
   • 虚抵方的目的通常是为了偷逃税款等，因此也违反了相关的法律法规。
   • 若受票方明知是虚开的发票而接受并虚抵，同样面临行政罚款，构成犯罪的也要追究刑事责任。

3. 责任认定标准：

   • 行政责任：根据《发票管理办法》，虚开发票的，由税务机关没收违法所得，并处以相应罚款。
   • 刑事责任：《刑法》规定，虚开增值税专用发票或者虚开用于骗取出口退税、抵扣税款的其他发票的，将处以有期徒刑、拘役及罚金等刑罚。

4. 特殊情况：

   • 若受票方有证据证明是善意取得虚开的发票，不以偷税论处，但需补缴已抵扣的税款。

综上所述，虚开增值税专用发票等发票的行为，并不需要双方都认定才构成违法。只要存在虚开或虚抵的行为，并满足相关法律规定的构成要件，即可根据具体情况对虚开方或虚抵方进行单独认定，并追究其相应的法律责任。如有任何疑问或需要进一步的法律咨询，请直接向我提问。