老师没有权利随意让孩子回家，这取决于具体的情况以及相关的法律法规和学校规定。详细分析如下：
一、义务教育阶段
法律保障与教育权利：
- 根据《中华人民共和国义务教育法》第四条，所有适龄儿童、少年都有平等接受义务教育的权利。因此，任何剥夺学生受教育机会的行为都可能构成违法。
- 老师让学生回家，如果未经合法程序且无正当理由，可能被视为侵犯学生受教育权的行为。
教师职责与行为规范：
- 《中华人民共和国义务教育法》第二十九条明确规定，教师应平等对待学生，不得对学生实施体罚、变相体罚或其他侮辱人格尊严的行为，也不得侵犯学生的合法权益。
- 因此，老师不能随意让学生回家，这既违反了教师的职责，也可能侵犯了学生的合法权益。
二、非义务教育阶段
管理自主权与合理性：
- 在非义务教育阶段，如高中、大学等，学校和老师可能拥有相对更多的管理自主权。
- 然而，即使在这种情况下，老师让学生回家也需遵循合理的程序和规定，确保措施的合理性和公正性。
沟通与家长参与：
- 在任何情况下，老师让学生回家都应与家长进行充分沟通，明确原因和目的，并确保家长的理解和支持。
三、特殊情况处理
- 如果学生存在严重违纪、健康安全问题或其他特殊情况，且学校按照正当程序处理，如与家长沟通、经过学校相关部门审批等，那么老师让学生回家可能不构成违规。
四、总结与建议
- 总结：老师没有权利随意让孩子回家。在义务教育阶段，这更是严格禁止的。在非义务教育阶段，虽然学校和老师可能拥有更多管理自主权，但也需遵循合理的程序和规定。
- 建议：如果老师认为学生需要暂时离开学校，应首先与家长进行充分沟通，并遵循学校的规章制度和法律法规要求。同时，学校也应制定明确的管理规定，确保老师的处理行为合法、合理且公正。
如有进一步需要，您可以继续咨询我。