人社部门在特定情况下可以直接追究建设单位的责任，但并非在所有情况下都能直接追究，这取决于具体的违法行为和法律规定。以下从不同角度进行分析：

1. 劳动保障监察领域：

   • 根据《劳动保障监察条例》等相关法律法规，人社部门作为劳动保障监察的主管部门，有权对用人单位（包括建设单位）的劳动保障违法行为进行监督检查，并依法作出行政处罚。
   • 如果建设单位存在违反劳动保障法律法规的行为，如未依法支付农民工工资、未签订劳动合同等，人社部门可以直接对其进行调查、取证，并依法追究其责任，包括责令改正、罚款等行政处罚措施。

2. 社会保险领域：

   • 在社会保险方面，如果建设单位未依法为员工缴纳社会保险费，人社部门（具体为社会保险行政部门）同样有权进行查处。
   • 根据《社会保险法》等相关规定，人社部门可以责令建设单位限期缴纳或者补足社会保险费，并自欠缴之日起，按日加收万分之五的滞纳金；逾期仍不缴纳的，由有关行政部门处欠缴数额一倍以上三倍以下的罚款。

3. 工伤保险领域：

   • 对于建设单位未依法参加工伤保险或者未按时足额缴纳工伤保险费的情况，人社部门（工伤保险行政部门）也有权进行查处。
   • 根据《工伤保险条例》等相关规定，人社部门可以责令建设单位限期参加工伤保险，补缴应当缴纳的工伤保险费，并自欠缴之日起，按日加收万分之五的滞纳金；逾期仍不缴纳的，处欠缴数额1倍以上3倍以下的罚款。

4. 其他特定情况：

   • 如果建设单位的行为同时违反了其他与人社部门职责相关的法律法规，如安全生产法规（虽然安全生产监管主要由应急管理部门负责，但某些情况下人社部门也可能参与相关劳动保护方面的监管）、职业病防治法规等，人社部门在职责范围内也有权进行查处。
   • 此外，如果建设单位的行为构成了犯罪，如拒不支付劳动报酬罪等，人社部门在发现后应当及时将案件移送司法机关处理，此时虽然不是人社部门直接“追究”刑事责任，但其在案件发现和移送过程中扮演着重要角色。

建议：

• 对于建设单位而言，应当严格遵守劳动保障、社会保险、工伤保险等相关法律法规，确保员工的合法权益得到保障，避免因此受到人社部门的查处。
• 如果建设单位对人社部门的处罚决定有异议，可以依法申请行政复议或者提起行政诉讼来维护自己的合法权益。

如有任何关于人社部门追究建设单位责任的具体问题或疑虑，欢迎直接向我咨询。