结论：工厂不在工作地提供吃饭却扣钱的行为是否违法，需根据具体情况判断，若工厂未与员工就餐费用扣除达成明确约定，或扣除费用缺乏合理性，则工厂的行为可能违法。以下从不同角度进行分析：
一、从劳动合同和规章制度的角度分析
劳动合同约定：
- 根据《中华人民共和国劳动合同法》的相关规定，劳动合同应当明确约定劳动报酬、工作时间、休息休假等事项。如果劳动合同中明确规定了工厂提供工作餐或者不扣除餐费，那么工厂扣除餐费的行为就违反了劳动合同的约定，属于违法行为。
- 如果劳动合同中没有明确约定餐费问题，那么需要看工厂的规章制度是否有相关规定。
规章制度规定：
- 工厂的规章制度应当经过民主程序制定，并向员工公示或告知。如果规章制度中明确规定了员工不在工厂吃饭需要扣除餐费，且该规定不违反法律法规的强制性规定，那么工厂扣除餐费的行为可能是合法的。
- 但需要注意的是，即使规章制度有规定，如果扣除的费用过高或者缺乏合理性，也可能被认定为违法。例如，如果工厂扣除的餐费远高于市场价格或者工厂实际提供的餐食成本，那么这种扣除就可能被视为不合理。
二、从法律原则和公平性的角度分析
法律原则：
- 根据《中华人民共和国劳动法》的相关规定，劳动者享有获得劳动报酬的权利，且劳动报酬应当以货币形式按月支付给劳动者本人。工厂扣除餐费实际上是在减少劳动者的劳动报酬，因此必须要有合法的依据和合理的理由。
公平性：
- 从公平性的角度来看，如果工厂要求员工在工厂吃饭但并未提供相应的餐食或者餐食质量很差，而员工选择不在工厂吃饭却被扣除餐费，这显然是不公平的。工厂应当尊重员工的选择权，并不得因此扣除员工的劳动报酬。
三、建议与行动
与工厂协商：
- 如果员工认为工厂扣除餐费的行为不合理或者违法，可以首先与工厂进行协商，要求工厂停止扣除餐费或者提供合理的解释和依据。
向劳动监察部门投诉：
- 如果协商无果，员工可以向当地的劳动监察部门投诉，要求劳动监察部门对工厂的行为进行调查和处理。
申请劳动仲裁或提起诉讼：
- 如果劳动监察部门的处理结果不满意或者工厂拒绝改正，员工还可以向劳动争议仲裁委员会申请劳动仲裁或者向人民法院提起诉讼，维护自己的合法权益。
最后需要强调的是，每个具体案件的情况都有所不同，因此在处理此类问题时，建议员工根据自己的实际情况和当地的法律法规进行具体分析。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。