针对居民违建房子中发生人员伤亡的情况，安全管理责任部门的确定需依据具体情况和相关法律法规来综合判断。以下是从不同角度进行的分析：

1. 违建行为的直接责任：

   • 违建行为本身违反了城乡规划、建设管理等法律法规。若因违建导致房屋结构不安全，进而引发人员伤亡，违建者（即房屋的建设者或所有者）通常需承担直接责任。这包括民事赔偿责任，甚至在特定情况下可能涉及刑事责任。

2. 物业管理方的责任：

   • 如果违建房屋位于有物业管理的小区内，物业管理方可能因未履行其管理职责而承担一定责任。例如，若物业管理方未及时发现并制止违建行为，或未对违建房屋进行必要的安全警示，导致人员伤亡，物业管理方可能需承担相应的管理责任。

3. 政府相关部门的监管责任：

   • 城乡规划部门：负责城乡规划的制定和实施，对违建行为有监管职责。若城乡规划部门未及时发现并处理违建行为，可能因监管不力而承担一定责任。
   • 建设管理部门：负责建筑活动的监督管理，包括施工许可、质量安全等。若建设管理部门在违建房屋的建设过程中未履行其监管职责，导致房屋存在安全隐患并引发人员伤亡，建设管理部门可能需承担相应责任。
   • 城市管理执法部门：负责城市管理综合执法工作，包括对违建行为的查处。若城市管理执法部门未及时查处违建行为，导致人员伤亡，可能需承担执法不力的责任。

4. 法律责任的追究：

   • 在发生人员伤亡后，相关部门会进行调查，以确定事故原因和责任主体。根据调查结果，责任主体可能面临民事赔偿、行政处罚甚至刑事责任。
   • 民事赔偿方面，受害者或其家属有权要求责任主体赔偿因伤亡造成的损失，包括医疗费、丧葬费、精神损害抚慰金等。
   • 行政处罚方面，相关部门可能对责任主体进行罚款、责令拆除违建房屋等处罚。
   • 刑事责任方面，若违建行为或管理行为构成犯罪（如重大责任事故罪），责任主体可能面临刑事处罚。

建议与后续行动：

• 若您或他人遭遇此类情况，应立即报警并寻求医疗救助。
• 同时，保留相关证据，如现场照片、视频、证人证言等，以便后续维权。
• 您可以向我咨询具体的法律程序和维权策略，我将根据您的具体情况提供专业的法律建议。

在处理此类复杂法律问题时，务必保持冷静，依法维权。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。