社区居民违法搭建行为的拆除责任部门，主要依据违法搭建的具体位置和性质来确定，具体如下：

1. 城市规划区内的违法搭建：

   • 主要责任部门：县级以上地方人民政府城乡规划主管部门（如城市管理局或综合执法局）。
   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或未按许可证规定建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设并限期改正；无法采取改正措施消除影响的，可限期拆除或没收实物。
   • 处理对象：包括但不限于城市建成区内未经许可擅自搭建的建筑物、构筑物等。

2. 乡、村庄规划区内的违法搭建：

   • 主要责任部门：乡镇人民政府。
   • 法律依据：依据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或未按许可证规定建设的，由乡镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。
   • 处理对象：如农村宅基地上违规超面积建设房屋等。

3. 涉及土地管理方面的违法搭建：

   • 主要责任部门：自然资源部门（即土地行政主管部门）。
   • 法律依据：根据《中华人民共和国土地管理法》第七十七条，非法占用土地建设的违法建筑，由自然资源主管部门责令退还非法占用的土地，限期拆除在非法占用的土地上新建的建筑物和其他设施。
   • 处理对象：如未经批准在农用地上擅自建设永久性建筑改变土地用途等行为。

4. 特定领域内的违法搭建：

   • 河道管理范围内：由水行政主管部门依据水法律法规进行处理和拆除。
   • 公路建筑控制区内：由交通运输主管部门或公路管理机构依法处置。
   • 其他特定情况：根据违法搭建的具体性质和所在领域，由相应的行业主管部门负责处理。

在处理违法搭建行为时，还需注意以下几点：

• 跨部门协作：当违法搭建涉及多个领域时，需多部门联合执法。例如，自然资源部门与城乡规划主管部门共同核查用地合法性，住建部门配合安全评估。
• 司法衔接：对于拒不配合的当事人，行政机关可申请法院强制执行，确保拆除工作合法推进。
• 举报途径：若发现违法搭建行为，可向上述相关部门进行举报，他们将按照法律程序进行处理。

合规建议：

• 在进行任何建设活动前，务必确保获得必要的许可和审批，以避免潜在的法律风险和不必要的麻烦。
• 若对建设活动的合法性存在疑问，建议及时咨询专业律师或相关部门，以确保建设活动的合规性。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。