上下班都忘记打卡不应被认定为旷工，且以此为由算旷工是违法的。

一. 忘打卡与旷工的本质区别

1. 旷工是指劳动者无正当理由擅自缺勤，未履行请假手续或请假未获批准而擅自离开工作岗位。其关键在于劳动者是否有缺勤事实且无正当理由。
2. 上下班忘记打卡，但劳动者实际上已经按照公司规定的工作时间提供了正常的劳动，仅仅是由于疏忽没有进行打卡这一考勤记录动作，并非主观上故意不上班或缺勤。因此，从法律角度来看，忘记打卡不符合旷工的法定构成要件。

二. 公司考勤制度与劳动者权益

1. 如果用人单位的考勤制度中明确规定了上下班都必须打卡，那么忘记打卡可能会被视为违反考勤制度的行为。但这并不等同于旷工，且公司不能以此为由克扣员工工资或进行其他不合理的处罚。
2. 根据《中华人民共和国劳动法》第五十条，工资应当以货币形式按月支付给劳动者本人，不得克扣或者无故拖欠。因此，即便劳动者忘记打卡，用人单位也不能以此为由侵犯劳动者的合法权益。

三. 劳动者的应对方式

1. 劳动者在忘记打卡后，应及时与公司相关人员说明情况，协商补打卡或者提供其他能够证明其正常工作的材料，如劳动成果、工作轨迹记录、同事证明等。
2. 如果公司以此为由对劳动者进行不合理处罚或克扣工资，劳动者有权向人社局的劳动监察大队举报投诉，以维护自己的合法权益。

综上所述，上下班都忘记打卡不应被认定为旷工，且公司以此为由进行处罚是违法的。劳动者在遇到此类问题时，应积极与公司沟通并寻求合理解决方案，必要时可依法维护自己的权益。如有进一步需要，您可以继续咨询我。