村民自留地被私人建厂后，返回款是否归集体需分情况讨论：

1. 自留地性质与权属
   自留地属于农村集体所有，由集体分配给村民长期使用，村民仅享有使用权而非所有权。根据《土地管理法》第九条，农村土地（包括自留地）所有权归集体，村民仅能依法承包经营或使用。因此，若私人建厂涉及土地征收或流转，补偿款原则上应归集体所有，再由集体分配给村民。

2. 补偿款分配的关键因素

   • 土地征收情形：若建厂需通过政府征收程序，补偿款包括土地补偿费、安置补助费等。根据《土地管理法实施条例》第二十六条，土地补偿费归集体所有，安置补助费可支付给被安置人员（如村民）。若村民已通过承包合同获得土地收益权，可能参与分配，但需以集体决议为准。
     
   • 土地流转情形：若村民私自将自留地流转给私人建厂（未通过集体同意），流转合同可能因违反法律强制性规定（如《农村土地承包法》第三十八条）而无效。此时，建厂方需返还土地，若已支付款项，可能涉及返还或赔偿问题，但款项归属仍需以集体决议或法院判决为准。
     
   • 集体决议优先：即使村民享有使用权，集体仍有权通过民主程序（如村民会议）决定补偿款分配方式。例如，集体可决议将部分款项用于公共设施建设，剩余部分分配给村民。

3. 特殊情形处理

   • 村民个人投入补偿：若村民在自留地上有长期投入（如种植果树、建设房屋），可主张青苗补偿费或地上附着物补偿费。这部分费用通常直接支付给村民，但需以评估或协商结果为准。
     
   • 违法建厂处理：若建厂行为未经审批（如未取得建设用地规划许可证），可能涉及违法用地。此时，土地可能被收回，补偿款可能被追缴，村民需通过行政复议或诉讼主张权益。

建议行动：

• 核实建厂是否依法办理用地手续（如征收批文、流转合同）；
  
• 要求集体出示补偿款分配方案，确认是否包含村民权益；
  
• 若存在争议，可向乡镇政府申请协调，或直接向法院起诉确认权益。
  

如有进一步细节（如建厂方式、补偿协议内容），可提供更多信息以便针对性分析。