用人单位不能仅凭体检不合格就直接拒绝录用劳动者，而需考虑多种因素，并遵循法定程序。以下是对此问题的详细分析：

1. 合法情形：

   • 明确规定与约定：用人单位在招聘公告、录用条件或劳动合同中明确规定了体检标准，且这些标准是合理的、与工作岗位正常履行直接相关的。例如，食品加工企业因卫生安全要求，明确规定员工不得患有传染性疾病，若应聘者体检不合格（如患有乙肝、肺结核等），则企业取消录用是合法的。
   • 岗位特殊身体要求：某些特定岗位因其工作性质对劳动者的身体条件有特殊要求。如消防员岗位需具备良好的身体素质和体能，若应聘者体检显示存在严重心血管疾病，无法胜任该工作，则用人单位取消录用是合理且合法的。

2. 不合法情形：

   • 体检标准不合理或歧视性：用人单位设定的体检标准与工作岗位无直接关联，或存在明显的歧视性规定。例如，普通办公室职员招聘中要求特定血型，否则不予录用，这种要求是不合理的，以此取消录用属于违法行为。
   • 未履行告知义务：用人单位在招聘过程中未向应聘者明确告知录用条件和体检标准。若企业在招聘时未提及视力要求，但在后续体检中以视力不达标为由取消录用，由于未事先告知，其行为可能构成违法。
   • 体检过程不公正、不透明：用人单位应确保体检过程的公平、公正和透明，避免任何形式的操纵或偏见。

3. 用人单位的责任与义务：

   • 沟通协商：当员工体检不合格时，用人单位应首先与员工进行沟通，探讨调整工作岗位、提供医疗支持等合理措施。
   • 遵循法定程序：如需拒绝录用或解除劳动合同，用人单位必须确保决定基于合法理由和程序，并符合相关劳动法律法规要求。

综上所述，用人单位在处理应聘者体检不合格问题时，应综合考虑多种因素，遵循相关法律法规和原则，确保决策的合理性和合法性。如有任何疑问或需要进一步法律建议，请直接向我咨询。