煤矿企业限制员工下班回家并罚款的行为，一般不合法，但需分情况讨论，具体分析如下：

1. 从劳动合同和规章制度的角度
   根据《劳动合同法》第四条，用人单位制定涉及劳动者切身利益的规章制度（如考勤、奖惩等），需经职工代表大会或全体职工讨论，与工会或职工代表平等协商确定，并公示或告知劳动者。若煤矿企业的“限制回家并罚款”规定未经上述民主程序，或未明确告知员工，则该制度本身不合法，企业依据此制度实施的处罚无效。

2. 从罚款合法性的角度
   根据《行政处罚法》及相关规定，只有行政机关（如劳动监察部门）才有权对违法行为进行罚款，企业作为民事主体，无权设立罚款权。若企业以“违反规章制度”为由对员工罚款，属于违法行为，员工有权拒绝缴纳，并可向劳动监察部门投诉或申请劳动仲裁。

3. 从限制人身自由的角度
   若企业以“限制下班回家”为手段（如扣留身份证、锁门、强制留岗等），可能涉嫌侵犯员工的人身自由权。根据《民法典》第一百零九条，自然人的人身自由不受侵犯，企业此类行为可能面临民事赔偿甚至行政处罚（如《治安管理处罚法》第四十条）。

4. 例外情形：合法扣减工资的情形
   若员工因自身过错（如严重违反操作规程导致事故）给企业造成损失，企业可依据《工资支付暂行规定》第十六条，按劳动合同约定要求赔偿，并从工资中扣减，但每月扣减比例不得超过当月工资的20%，且扣减后工资不得低于当地最低工资标准。但此情形与“限制回家”无直接关联，企业不得以此为由变相限制员工自由。

建议：

• 若企业以“限制回家”威胁罚款，员工可保留相关证据（如录音、录像、书面通知等），向当地劳动监察大队投诉或申请劳动仲裁；
  
• 若企业行为已涉嫌非法拘禁（如限制人身自由超24小时），可立即报警处理。
  

如有进一步细节（如企业具体处罚依据、限制方式等），可向我补充说明，我会为您进一步分析。