结论前置：工厂因员工吃饭回来上班忘记打卡而扣钱或算旷工，这一行为是否违法，需根据具体情况和工厂的规章制度来判断。以下从不同角度进行分析：

1. 若工厂规章制度合法且已告知员工：

   • 法律背景：根据《劳动合同法》第四条，用人单位应当依法建立和完善劳动规章制度，保障劳动者享有劳动权利、履行劳动义务。用人单位在制定、修改或者决定有关劳动报酬、工作时间、休息休假、劳动安全卫生、保险福利、职工培训、劳动纪律以及劳动定额管理等直接涉及劳动者切身利益的规章制度或者重大事项时，应当经职工代表大会或者全体职工讨论，提出方案和意见，与工会或者职工代表平等协商确定。并且，用人单位应当将直接涉及劳动者切身利益的规章制度和重大事项决定公示，或者告知劳动者。
   • 分析：如果工厂的规章制度中明确规定了忘记打卡的处理方式，如扣钱或算旷工，并且这一规章制度已经通过合法程序制定，且已向员工公示或告知，那么工厂按照规章制度执行，一般不构成违法。但需要注意的是，扣钱的金额或旷工的认定应当合理，不能过分苛刻，否则可能因显失公平而被认定为无效。

2. 若工厂规章制度不合法或未告知员工：

   • 法律背景：同样依据《劳动合同法》第四条，如果用人单位的规章制度未经合法程序制定，或者未向劳动者公示、告知，那么该规章制度对劳动者不具有约束力。
   • 分析：如果工厂的规章制度中关于忘记打卡的处理方式未经合法程序制定，或者未向员工公示、告知，那么工厂因员工忘记打卡而扣钱或算旷工的行为，就缺乏合法依据，构成违法。员工有权要求工厂纠正这一行为，并可能因此获得相应的赔偿。

3. 关于扣钱或算旷工的合理性：

   • 法律原则：根据《劳动法》和《劳动合同法》的相关规定，用人单位与劳动者应当遵循合法、公平、平等自愿、协商一致、诚实信用的原则。任何对劳动者的处罚都应当合理、适度，不能违反法律法规的强制性规定。
   • 分析：即使工厂的规章制度合法且已告知员工，但如果扣钱的金额过高或旷工的认定过于苛刻，也可能因违反公平原则而被认定为无效。例如，如果员工仅因一次忘记打卡就被扣除大量工资或被认定为旷工一天，这种处理方式显然过于严厉，可能构成违法。

建议：

• 对于员工而言，如果因忘记打卡而被工厂扣钱或算旷工，首先应当查看工厂的规章制度，了解相关规定是否合法且已告知自己。如果认为工厂的处理方式不合理或违法，可以向工厂提出异议，并要求纠正。如果工厂拒绝纠正，可以向当地劳动监察部门投诉或申请劳动仲裁。
• 对于工厂而言，应当制定合法、合理的规章制度，并确保已向员工公示、告知。在处理员工忘记打卡等问题时，应当遵循公平、合理的原则，避免过度处罚或侵犯员工的合法权益。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。