单位以各种安全理由考核工人是否合法，不能一概而论，需要分情况讨论：

1. 如果单位的安全考核制度合法合规，且考核内容与工作安全直接相关，同时考核程序公正透明：

   • 在这种情况下，单位以安全理由考核工人是合法的。例如，单位制定了详细的安全操作规程，并明确规定了违反规程的考核标准，工人因违反这些规程而被考核，这是单位行使管理权的体现，也是保障工作场所安全的重要措施。

2. 如果单位的安全考核制度存在违法违规情形，或者考核内容与工作安全无直接关联，或者考核程序不公正不透明：

   • 在这种情况下，单位以安全理由考核工人可能是不合法的。具体来说：
     • 制度违法违规：如果单位的安全考核制度违反了国家法律法规或相关政策规定，比如考核标准过高、考核方式不合理等，那么这种考核就是违法的。
     • 考核内容无关：如果单位以安全为名，但实际上考核的内容与工作安全无直接关联，比如考核工人的个人生活习惯、社交活动等，那么这种考核也是不合法的。
     • 程序不公正：如果单位在考核过程中存在不公正、不透明的情形，比如考核标准不明确、考核结果不公开、考核过程缺乏监督等，那么这种考核同样可能构成违法。

法律背景与建议：

• 法律背景：根据《中华人民共和国劳动法》和《中华人民共和国劳动合同法》等相关法律法规，单位有权制定规章制度对工人进行管理，但这些规章制度必须合法合规，且不得侵犯工人的合法权益。同时，单位在行使管理权时，应当遵循公正、公平、公开的原则，确保考核程序的公正性和透明度。
• 建议：如果你认为单位以安全理由考核你的行为存在违法违规情形，你可以先与单位进行沟通协商，要求单位提供考核的依据和标准，并说明考核的合理性。如果沟通无果，你可以向当地的劳动监察部门投诉举报，或者申请劳动仲裁来维护自己的合法权益。

可能法律后果：

• 如果单位的考核行为被认定为违法，那么单位可能需要承担相应的法律责任，比如支付赔偿金、恢复工人的名誉等。同时，如果考核行为给工人造成了实际损失，单位还需要承担赔偿责任。

总结与进一步思考：

• 单位以安全理由考核工人是否合法，取决于考核制度、考核内容和考核程序的合法性和合理性。作为工人，你有权了解考核的依据和标准，并维护自己的合法权益。如果你对单位的考核行为有疑问或不满，建议及时咨询专业律师或相关劳动部门，以便更好地维护自己的权益。

如有其他劳动工伤或劳动仲裁方面的问题，也可以直接向我咨询。