在农村建房过程中，若工人摔伤引发纠纷，可优先通过以下单位或途径进行调解：

1. 村委会或村人民调解委员会
   根据《人民调解法》，村委会下设的人民调解委员会是基层调解组织，负责处理辖区内的民间纠纷。若工人与房主因赔偿问题产生争议，可先向村委会或调解委员会申请调解。调解过程免费、灵活，且调解协议经司法确认后具有强制执行力。

2. 乡镇司法所
   乡镇司法所是司法行政机关的派出机构，可提供法律咨询、指导调解工作。若村委会调解未果，或纠纷涉及复杂法律问题（如工伤认定、赔偿标准争议），可向乡镇司法所申请进一步调解，或由其协助联系专业法律援助。

3. 劳动监察部门（若存在劳动关系）
   若工人与房主或施工方构成劳动关系（如长期雇佣、签订劳动合同），可向当地劳动监察大队投诉，要求介入调查并调解。但需注意：农村自建房中，房主与短期雇佣的工人通常构成劳务关系，而非劳动关系，此时劳动监察部门可能不直接受理。

4. 法院诉前调解或人民调解工作室
   若纠纷难以通过基层调解解决，可向法院立案庭申请诉前调解。法院会委托人民调解工作室或特邀调解员组织调解，调解成功后可出具司法确认书，避免诉讼程序。

补充建议：

• 调解前建议固定证据（如现场照片、医疗记录、证人证言），明确责任划分；
  
• 若调解不成，可依据《民法典》第1192条（个人劳务关系损害赔偿）或《工伤保险条例》（若构成劳动关系）向法院起诉；
  
• 农村建房建议优先为工人购买意外险，降低赔偿风险。

如有进一步疑问，可直接向我咨询具体法律问题。