违法居民建筑的认定和拆除工作涉及多个部门，具体执行部门会根据违法建筑的性质、所在地以及相关法律法规来确定。以下是从不同角度对这一问题的详细解答：

一、城市规划区内的违法建筑

1. 主要责任部门：城市管理综合行政执法部门（城管执法局）或县级以上地方人民政府城乡规划主管部门（城乡规划局）。
2. 法律依据：
   • 《中华人民共和国城乡规划法》第六十四条：未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
   • 在部分地方，通过行政权力相对集中的方式，将原本由城乡规划主管部门行使的对违法建筑的处罚权等赋予城市管理综合行政执法部门。
3. 处理对象：未取得建设工程规划许可证或未按照建设工程规划许可证规定进行建设，且影响城市规划的违法建筑，如城市建成区内未经许可擅自搭建的建筑物、构筑物等。
4. 处理措施：认定和处理违法建筑，包括责令停止建设、限期拆除等。

二、乡、村庄规划区内的违法建筑

1. 主要责任部门：乡、镇人民政府。
2. 法律依据：
   • 《中华人民共和国城乡规划法》第六十五条：在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。
3. 处理对象：未依法取得乡村建设规划许可证或未按照乡村建设规划许可证规定进行建设的违法建筑，如农村宅基地上违规超面积建设房屋等。
4. 处理措施：责令停止建设、限期改正；逾期不改正的，可以拆除违法建筑。

三、涉及土地管理方面的违法建筑

1. 主要责任部门：自然资源主管部门（即土地行政主管部门）。
2. 法律依据：
   • 《中华人民共和国土地管理法》第七十七条：未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状，对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款；对非法占用土地单位的直接负责的主管人员和其他直接责任人员，依法给予处分；构成犯罪的，依法追究刑事责任。
3. 处理对象：非法占用土地建设的违法建筑，如未经批准在农用地上擅自建设永久性建筑改变土地用途等行为。
4. 处理措施：责令退还非法占用的土地，限期拆除在非法占用的土地上新建的建筑物和其他设施；逾期不拆除的，可依法申请人民法院强制执行。

四、特定领域的违法建筑

1. 河道管理范围内：由水行政主管部门依据水法律法规进行处理和拆除。
2. 公路建筑控制区内：由交通运输主管部门或公路管理机构依法处置。
3. 其他特定情况：根据违法建筑的具体性质和所在领域，由相应的行业主管部门负责处理。

五、跨部门协作与司法衔接

1. 跨部门协作：在实际操作中，各部门之间会进行协作与配合。例如，城乡规划主管部门作出责令停止建设或限期拆除的决定后，当事人不执行时，建设工程所在地县级以上地方人民政府可以责成有关部门采取查封施工现场、强制拆除等措施。
2. 司法衔接：对于拒不配合的当事人，行政机关可申请法院强制执行，确保拆除工作合法推进。

总结与建议：

违法建筑的拆除工作是一个涉及多个部门的复杂过程。各部门需根据违法建筑的具体情况和相关法律法规的规定，明确各自的职责和权限，并进行有效的协作与配合，以确保违法建筑得到及时、合法、有效的处理。如果您发现违法建筑或面临相关法律问题，可以直接向我咨询，我将根据您的具体情况提供专业的法律建议。