行政违法一般由以下几类机关或组织进行处罚：
具有法定行政处罚权的行政机关：这些机关依法履行外部行政管理职能，代表国家在特定领域内行使行政管理权限，如各级人民政府以及公安、工商、税务、土地、审计、卫生等部门。它们有权对违反行政管理秩序的行为进行行政处罚，且其行政处罚权来源于法律、法规、规章的明确规定，确保在法定职权范围内行使权力。
法律法规授权的具有管理公共事务职能的组织：这类组织虽非行政机关，但基于法律、法规的特别授权，获得在一定范围内实施行政处罚的资格。它们通常具有管理公共事务的职能，如某些特定的行政派出机构。这些组织必须在授权法规定的行政处罚种类、幅度范围内行事，否则行政处罚将无效。
受行政机关委托的受托组织：根据行政管理的实际需要，行政机关可以依照法律、法规、规章的规定，在其法定权限内委托符合条件的组织实施行政处罚。受托组织需满足一定的条件，如依法成立、具有管理公共事务职能、拥有熟悉相关法律的工作人员等。受托组织在委托范围内以委托行政机关的名义实施行政处罚，且不得再行委托其他组织或个人。
集中实施行政处罚的机关：为适应综合行政执法需要，国务院或经国务院授权的省、自治区、直辖市人民政府可决定由一个行政机关集中行使多个行政机关的行政处罚权。这种制度有助于提高行政效率，但需注意的是，限制人身自由的行政处罚权仅可由公安机关和法律规定的其他特定机关行使。
综上所述，行政违法的处罚主体多元且各具特色，但它们均需在法定职权或授权范围内行事，确保行政处罚的合法性和有效性。如果您对具体的行政违法行为或处罚有疑问，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。