行政处罚本身不是违法行为，而是行政机关依法对违反行政管理秩序的行为主体所实施的一种合法且必要的行政行为。行政处罚的决定主体及认定过程均严格遵循法律法规，确保处罚的公正性和合理性。

行政处罚的决定主体

1. 具有行政处罚权的行政机关：如市场监督管理部门、税务机关等，在法定职权范围内实施行政处罚。
2. 法律、法规授权的具有管理公共事务职能的组织：如卫生防疫站，在相关法规授权下对特定违法行为进行处罚。
3. 受委托组织：以委托行政机关的名义，在委托书明确的范围内实施行政处罚。
4. 特殊情况下的决定权：如国务院或经其授权的省、自治区、直辖市人民政府，可决定一个行政机关行使其他行政机关的行政处罚权。

行政处罚违法行为的认定过程

1. 事实依据：行政处罚必须以充分的事实证据为依据，包括书证、物证、视听资料等。
2. 违反特定行政法律规范：行为必须违反具体的行政法律规范，如《消费者权益保护法》等。
3. 违法行为的性质与情节：明确违法行为的性质，并考虑其手段、方式、持续时间等情节因素。
4. 社会危害程度：从公共安全、社会秩序等方面评估违法行为的危害程度。
5. 主观过错：行政相对人主观上具有过错，包括故意和过失两种。
6. 可罚性：综合考虑违法行为的情节、危害后果及纠正情况，依法决定是否给予行政处罚。

行政处罚违法行为责任人的认定

1. 自然人作为责任人：需具备责任能力，且行为与违法行为存在直接因果关系。
2. 法人或其他组织作为责任人：违法行为需以单位名义实施，且为了单位利益，体现单位意志。
3. 特殊关系的责任认定：如隶属关系、企业承包关系、雇佣关系、委托关系等，需根据具体情况确定责任承担方。

综上所述，行政处罚的合法性由具有行政处罚权的行政机关或授权组织依据法定程序进行认定，并严格遵循事实依据、法律规范、违法行为性质与情节、社会危害程度及主观过错等要素进行综合判断。如有任何关于行政处罚的疑问或需要进一步的法律咨询，请直接向我提问，我将竭诚为您解答。