在建筑行业中，对于安全违法行为的执法主体，主要依据相关法律法规来确定。以下是对此问题的详细解答：

首先，根据《中华人民共和国建筑法》的相关规定，建设行政主管部门是负责建筑安全生产管理的主要部门，并依法接受劳动行政主管部门对建筑安全生产的指导和监督。这意味着，在建筑行业，建设行政主管部门（通常为住房和城乡建设局或其下属机构）是主要的执法主体，负责监督和管理建筑安全生产活动，并对违法行为进行查处。

其次，《建设工程安全生产管理条例》也进一步明确了县级以上地方人民政府建设行政主管部门对本行政区域内的建设工程安全生产实施监督管理的职责。这包括了对施工现场的安全检查、对违法行为的查处以及对安全事故的调查处理等。同时，该条例还规定了交通、水利等有关部门在各自的职责范围内，负责本行政区域内的专业建设工程安全生产的监督管理。

在实际操作中，县级以上地方人民政府建设主管部门（如住房和城乡建设局）可能会将具体的工程质量监督管理工作委托给所属的工程质量监督机构来实施。这些监督机构具备专业的监督人员和必要的检测设备，能够更有效地对工程质量进行监督和管理，并对违法行为进行查处。

对于建筑行业的安全违法行为，执法主体（如住房和城乡建设局或其下属的工程质量监督机构）将依据相关法律法规和工程建设强制性标准，对违法行为进行查处。这可能包括责令限期改正、提出警告、罚款、吊销资质证书等处罚措施，甚至在严重情况下，依法追究刑事责任。

综上所述，建筑行业安全违法行为的执法主体主要是县级以上地方人民政府建设行政主管部门（如住房和城乡建设局）及其下属的工程质量监督机构。他们负责监督和管理建筑安全生产活动，并对违法行为进行查处，以确保建筑行业的安全生产和人民生命财产的安全。