不是只有施工单位和建筑单位才能承担用工责任主体责任。在建设工程领域，用工责任主体的确定并非仅限于施工单位和建筑单位，而是需要根据具体情况进行综合判断。以下从不同角度对此问题进行分析：
一、一般原则：用工主体责任与合同关系
在建设工程中，用工主体责任通常与合同关系紧密相连。一般来说，施工单位（如总承包单位、分包单位）与劳动者之间会签订劳动合同或形成事实劳动关系，因此施工单位往往被视为用工责任主体。然而，这并不意味着只有施工单位才能承担用工责任。在某些情况下，即使非施工单位或建筑单位，也可能因与劳动者存在特定的法律关系而承担用工责任。
二、特殊情况：非施工单位或建筑单位的用工责任
实际施工人：
- 在建设工程领域，实际施工人（如包工头）虽然可能未与施工单位签订正式合同，但若其实际组织了施工活动并雇佣了劳动者，那么在实际施工人与劳动者之间可能形成事实劳动关系。此时，实际施工人可能需承担用工责任。
- 法律依据：根据《关于确立劳动关系有关事项的通知》（劳社部发〔2005〕12号）第四条，建筑施工、矿山企业等用人单位将工程（业务）或经营权发包给不具备用工主体资格的组织或自然人，对该组织或自然人招用的劳动者，由具备用工主体资格的发包方承担用工主体责任。但这一规定并不排除实际施工人在一定情况下也需承担责任，尤其是在其具备用工主体资格或实际履行用工管理职责时。
劳务派遣单位：
- 若施工单位通过劳务派遣方式使用劳动者，那么劳务派遣单位作为与劳动者签订劳动合同的用人单位，需承担用工责任。此时，施工单位虽非直接用工主体，但仍需对劳务派遣单位的行为进行监督，并在一定情况下承担连带责任。
- 法律依据：根据《劳动合同法》第五十八条，劳务派遣单位是用人单位，应当履行用人单位对劳动者的义务。
其他关联方：
- 在某些复杂的建设工程关系中，可能存在多个关联方（如建设单位、设计单位、监理单位等）与劳动者产生联系。若这些关联方对劳动者的用工行为产生了实质性影响（如直接管理、支付工资等），那么它们也可能在一定情况下被认定为用工责任主体。
三、法律建议与风险提示
明确合同关系：
- 对于施工单位而言，应明确与劳动者之间的合同关系，避免模糊用工形式导致的法律风险。若采用劳务派遣方式，应确保与劳务派遣单位签订合法有效的劳务派遣协议，并明确双方的权利义务。
加强用工管理：
- 无论是否为直接用工主体，相关单位均应加强对用工行为的管理，确保劳动者的合法权益得到保障。这包括签订书面劳动合同、支付劳动报酬、提供劳动保护等。
及时咨询专业律师：
- 在涉及用工责任的问题上，由于法律关系复杂且可能涉及多方利益，建议相关单位及时咨询专业律师以获取准确的法律意见和风险评估。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况提供针对性的法律建议和解决方案。