教育行政部门确实可以对老师进行处罚。以下是详细解释：

1. 法律依据：

   • 根据《中华人民共和国教师法》第三十七条的规定，教师若存在故意不完成教育教学任务给教育教学工作造成损失的、体罚学生经教育不改的、品行不良侮辱学生影响恶劣的情形，由所在学校、其他教育机构或者教育行政部门给予行政处分或者解聘。

2. 具体处罚情形：

   • 教育教学违规：如教师抄袭、剽窃、侵占他人学术成果，违规招生，违规补课等，教育行政部门可依法给予警告、罚款、没收违法所得、暂停招生资格等行政处罚。
   • 师德师风问题：如教师体罚或变相体罚学生，与学生发生不正当关系，收受学生及家长赠送的礼品礼金等，将面临警告、撤职、降低岗位等级、吊销教师资格等处罚。
   • 违反法律法规：如教师实施交通违法行为、违反治安管理规定等，除接受相关部门的处罚外，教育行政部门也可能根据情节给予相应的行政处罚。

3. 处罚的严肃性：

   • 教师作为教育工作者，应严格遵守法律法规及职业道德规范。对于任何违法违规行为，教育行政部门都将依法依规进行严肃处理，以确保教育行业的良好形象与秩序。

综上所述，教育行政部门在教师存在违规、违法行为时，有权且必须依法进行处罚。这既是维护教育秩序的需要，也是保障学生权益、促进教育公平的重要举措。