安全生产违法行为的行政处罚主要由具有行政处罚权的行政机关在法定职权范围内实施，具体包括应急管理部门、住房和城乡建设部门、交通运输部门等，同时法律法规授权的具有管理公共事务职能的组织和受行政机关委托的组织也可能在一定条件下成为执行主体。以下是对这一问题的详细分析：
一、主要执行主体
应急管理部门：
- 作为安全生产的主要监管部门，应急管理部门负责对非煤矿山、危险化学品、烟花爆竹等行业的安全生产违法行为进行查处和处罚。例如，对于危险化学品生产企业未按规定设置安全警示标志的行为，应急管理部门有权依法给予罚款等行政处罚。
住房和城乡建设部门：
- 该部门主要负责建筑施工领域的安全监管和行政处罚工作。若建筑施工企业在施工过程中存在违规操作，如未对施工现场的安全防护设施进行定期检查和维护，住房和城乡建设部门将依法对其作出处罚。
交通运输部门：
- 针对交通运输行业的安全生产违法行为，交通运输部门负责执行处罚。例如，对客运企业超员运输、货运车辆超载等违反交通安全规定的行为，交通运输部门将进行相应的处罚。
二、其他执行主体
法律法规授权的具有管理公共事务职能的组织：
- 在某些情况下，法律法规会授权一些具有管理公共事务职能的组织实施安全行政处罚。这些组织必须在授权范围内，以自己的名义实施行政处罚。例如，特种设备检验检测机构在一定程度上经授权可以对特种设备使用单位的违法行为进行调查，并配合相关部门作出处罚。
受行政机关委托的组织：
- 行政机关可以依照法律、法规、规章的规定，在其法定权限内书面委托符合条件的组织实施行政处罚。受委托组织在委托范围内，以委托行政机关的名义实施行政处罚。例如，一些地方的乡镇政府或街道办事处可能受应急管理部门的委托，对辖区内的小型企业的安全生产违法行为进行初步调查和处理，并最终以应急管理部门的名义作出行政处罚决定。
三、特殊情况的处罚实施机关
- 特定行业的主管部门（如民航、铁路、电力等）：
- 对其主管的特定行业的生产经营单位及其主要负责人，也可依据《安全生产法》的相关规定进行处罚。
四、执行原则与程序
法定职权范围内实施：
- 行政处罚必须由具有行政处罚权的行政机关在法定职权范围内实施，确保执法的合法性和权威性。
遵循法定程序：
- 行政机关在作出行政处罚决定时，必须遵循法定程序，包括调查取证、告知权利、听取陈述申辩、作出处罚决定等步骤，确保当事人的合法权益得到保障。
五、实际建议
在实际操作中，确定安全生产违法行为的行政处罚管辖机关时，应根据具体情况和地域差异来确定具体的执行主体。如有疑问或遇到复杂情况，建议直接向我咨询，我会根据具体情况提供详细的法律分析和建议。
综上所述，安全生产违法行为的行政处罚管辖机关涉及多个部门和组织，它们各自在法定职权范围内行使处罚权，共同维护安全生产秩序。