虚开发票的罚款是否双方都要交，需分情况讨论，具体如下：
若双方均参与虚开发票行为：根据《中华人民共和国发票管理办法》第二十二条，任何单位和个人不得为他人、为自己开具与实际经营业务情况不符的发票，也不得介绍他人开具此类发票。若双方均存在虚开行为（如开票方虚构交易开具发票，受票方明知无真实交易仍接受发票），则双方均可能面临税务机关的行政处罚，包括罚款。罚款金额通常根据虚开发票的金额、情节严重程度等因素确定，可能涉及没收违法所得、罚款（虚开金额1倍以下）等。
若仅一方存在虚开行为：若仅开票方虚开发票（如虚构交易、伪造发票等），而受票方不知情或未参与，则罚款主要针对开票方。受票方若能证明自身无过错（如未参与虚开、未使用虚假发票抵扣税款等），通常无需承担罚款。但若受票方明知发票虚假仍使用（如用于抵扣税款、财务报销等），则可能被认定为共同违法，需承担相应责任。
特殊情形：若虚开发票行为涉及刑事犯罪（如虚开增值税专用发票罪），则双方可能面临刑事处罚（如有期徒刑、罚金等），而非单纯的行政罚款。刑事责任的认定需满足“虚开税款数额较大”“造成国家税款损失”等条件，具体由司法机关根据案件事实判断。
总结：虚开发票的罚款是否双方都交，取决于双方是否均参与虚开行为。若双方均参与，则均可能被罚款；若仅一方参与，则罚款主要针对参与方。建议企业或个人严格遵守发票管理规定，避免虚开发票行为，若已涉及虚开问题，可进一步向我咨询具体应对措施。