行政处罚严重违反回避规定，应当依法予以撤销，这主要基于《中华人民共和国行政处罚法》的相关规定。以下是对此问题的详细分析：
一、回避制度的重要性
回避制度是行政程序公正性的重要保障，它要求行政机关在实施行政处罚时，如果与案件有利害关系或者其他可能影响公正处理的关系，相关人员应当回避。这一制度的设立，旨在防止行政机关及其工作人员因个人偏见或利益冲突而影响行政处罚的公正性和合法性。
二、违反回避规定的法律后果
行政处罚的撤销：
- 根据《中华人民共和国行政处罚法》的相关规定，如果行政机关在实施行政处罚时严重违反回避规定，导致行政处罚的公正性和合法性受到质疑，那么该行政处罚应当依法予以撤销。这是因为，违反回避规定可能使得行政处罚的决定过程存在不公正的因素，从而损害了当事人的合法权益。
具体法律依据：
- 虽然《中华人民共和国行政处罚法》没有直接规定“违反回避规定即撤销行政处罚”的条款，但该法强调了行政处罚的公正性和合法性原则。在行政程序中，回避制度是保障公正性的重要环节。如果行政机关未遵守回避规定，可以视为违反了法定程序，进而影响行政处罚的效力。在实际操作中，法院或上级行政机关在审查行政处罚的合法性时，如果发现存在严重违反回避规定的情况，通常会依法撤销该行政处罚。
三、实际操作中的考量因素
违反回避规定的严重性：
- 并非所有违反回避规定的情况都会导致行政处罚的撤销。只有当违反回避规定的情况严重到足以影响行政处罚的公正性和合法性时，才会考虑撤销行政处罚。例如，如果行政机关工作人员与案件当事人存在直接利害关系，且未回避而直接参与了行政处罚的决定过程，这种情况就可能被视为严重违反回避规定。
当事人的申请与举证：
- 在实际操作中，当事人如果认为行政机关在实施行政处罚时违反了回避规定，可以向法院或上级行政机关提出撤销行政处罚的申请。此时，当事人需要提供相应的证据来证明行政机关存在违反回避规定的情况。法院或上级行政机关在审查时，会综合考虑当事人的申请、举证以及行政机关的答辩等因素，来作出是否撤销行政处罚的决定。
四、建议与措施
加强回避制度的宣传与培训：
- 行政机关应当加强对回避制度的宣传与培训，提高工作人员对回避制度重要性的认识。通过培训，使工作人员了解回避制度的具体内容和要求，确保在实施行政处罚时能够严格遵守回避规定。
完善内部监督机制：
- 行政机关应当完善内部监督机制，加强对行政处罚决定过程的监督。通过设立专门的监督机构或指定专人负责监督行政处罚的决定过程，确保行政机关在实施行政处罚时能够严格遵守法定程序和回避规定。
鼓励当事人积极维权：
- 当事人如果认为行政机关在实施行政处罚时违反了回避规定，应当积极向法院或上级行政机关提出撤销行政处罚的申请。同时，当事人也可以寻求法律援助或咨询专业律师的意见，以更好地维护自己的合法权益。
综上所述，行政处罚严重违反回避规定时，应当依法予以撤销。这既是对行政程序公正性的保障，也是对当事人合法权益的保护。如果您在行政处罚过程中遇到了违反回避规定的情况，可以直接向我咨询，我将根据您的具体情况提供专业的法律建议。