针对“四邻建房签字后违规方私自乱建”的情况，核心处理方式需结合法律程序与行政手段，具体分为以下步骤：

1. 确认违规事实与证据固定

• 核查签字文件内容：首先需明确四邻签字的具体文件性质（如《四邻协议》《建房承诺书》等），确认其中是否包含对建房范围、高度、用途等具体限制条款。若违规方行为违反协议约定，该文件可作为主张权利的直接证据。
• 收集现场证据：通过拍照、录像、测绘等方式固定违规建筑现状（如超建面积、高度、位置等），并保留原始载体（如手机原始视频、未编辑的照片），必要时可申请公证增强证据效力。
• 调取规划许可文件：向当地自然资源部门申请信息公开，获取违规方的《建设工程规划许可证》，核对其批准的建房范围与实际建设是否一致。若未取得许可或超范围建设，则构成违法建设。

2. 行政投诉与执法介入

• 向城管或规划部门举报：根据《城乡规划法》第64条，未取得建设工程规划许可证或未按许可建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设、限期改正或拆除。向当地城管执法局或自然资源局提交书面举报材料，附上证据，要求依法查处。
• 申请行政复议或诉讼：若行政机关未及时处理或处理结果不满，可在知道行政行为之日起60日内申请行政复议，或6个月内直接提起行政诉讼，要求法院判决行政机关履行查处职责。

3. 民事索赔与协议履行

• 起诉违约或侵权：若四邻签字文件具有民事合同性质（如《四邻协议》），违规方行为构成违约，可依据《民法典》第577条要求其停止侵害、恢复原状或赔偿损失（如遮光、通风影响导致的房产贬值）。
• 主张相邻权保护：即使无书面协议，若违规建筑侵犯相邻权（如影响采光、排水、通行），可依据《民法典》第288-296条起诉，要求排除妨碍、赔偿损失。例如，超建部分遮挡邻居窗户，可要求拆除或赔偿。

4. 联合其他邻居共同维权

• 集体投诉增强效力：若多户邻居均受影响，可联合向行政部门提交集体投诉材料，或共同提起民事诉讼，降低单户维权成本，提高执法部门重视程度。
• 申请行为保全（诉前禁令）：在诉讼前，可向法院申请裁定违规方立即停止建设，防止损失扩大。需提供初步证据证明其行为违法且可能造成不可逆损害。

5. 特殊情形处理

• 历史遗留问题：若违规建筑建于《城乡规划法》实施前（2008年1月1日前），可能适用当时的地方性法规，需结合具体政策处理（如补办手续或罚款保留）。
• 农村自建房：若属农村宅基地建房，需依据《土地管理法》第77条，由县级农业农村部门或乡镇政府责令退还非法占用土地、限期拆除。

行动建议：

1. 立即固定证据（拍照、录像、测绘）；
   
2. 向当地城管或自然资源部门提交书面举报材料；
   
3. 同步咨询律师起草《律师函》或民事起诉状，向违规方施压；
   
4. 若行政机关不作为，及时申请行政复议或诉讼。
   

提示：处理此类纠纷需兼顾法律程序与行政效率，建议优先通过行政投诉推动拆除，若效果不佳再启动民事诉讼。具体操作可进一步向我提供违规细节（如建房位置、协议内容等），以便制定针对性方案。