结论前置：村干部未经允许换人属于违反法定程序的行为，具体处理方式需结合换人环节、换人主体及换人后是否补正程序等因素综合判断。以下分情况说明：

1. 若换人发生在选举环节（如村委会主任、委员未完成任期即被替换）

• 法律依据：根据《村民委员会组织法》第11条、第19条，村委会成员由村民直接选举产生，任期五年，任期届满方可换届选举。若在任期内未经法定程序（如村民会议或村民代表会议表决）擅自更换，属于程序违法。
• 处理方式：
  • 村民可向乡镇政府反映：要求乡镇政府责令改正，或指导村民委员会召开村民会议重新表决。
  • 申请行政复议或提起行政诉讼：若乡镇政府未履行监督职责，村民可向上级政府申请复议，或直接以乡镇政府为被告提起行政诉讼，要求其履行法定监督义务。

2. 若换人主体为上级政府或部门（如乡镇政府直接任命）

• 法律依据：根据《村民委员会组织法》第5条，乡镇政府与村委会是指导与协助关系，非领导关系。村委会成员的产生、罢免由村民决定，上级政府无权直接任命或撤换。
• 处理方式：
  • 村民可向上级政府投诉：要求撤销违法任命决定，恢复原村委会成员职务。
  • 提起行政诉讼：以直接任命行为违法为由，起诉任命机关，要求确认行为无效并赔偿损失（如因换人导致的集体财产损失）。

3. 若换人后已补正程序（如事后召开村民会议追认）

• 法律效果：根据《行政诉讼法》第74条，若违法换人行为已通过补正程序（如事后追认）消除违法状态，法院可能不撤销该行为，但会确认原程序违法。
• 处理建议：
  • 要求书面确认补正效力：村民可要求村委会或乡镇政府出具书面文件，明确换人行为已获村民会议追认，避免后续纠纷。
  • 监督后续程序合法性：即使补正，村民仍有权要求后续选举或罢免程序严格依法进行，防止再次违法。

4. 若换人涉及职务侵占、贪污等违法犯罪行为

• 处理方式：
  • 向纪检监察机关举报：若换人过程中存在贿选、伪造选票等行为，可向县级纪委监委或乡镇纪委举报，要求追究相关人员刑事责任。
  • 提起民事诉讼：若换人导致集体财产损失（如违规处置村集体资产），村民可代表集体提起民事诉讼，要求赔偿损失。

行动建议：

1. 收集证据（如换人通知、会议记录、村民签名等）；
   
2. 优先通过乡镇政府或县级民政部门（负责村委会选举指导）反映问题；
   
3. 若行政途径无效，及时启动法律程序（复议或诉讼）。
   

提示：村干部换人问题往往涉及村民自治与行政权力的边界，处理时需兼顾程序合法性与实质公平性。如有具体细节（如换人时间、主体、是否补正等），可进一步向我说明，以便提供更精准的建议。