结论：单位下班不让回家还要考核的行为是否合法，需分情况判断，一般情况下单位无权强制员工加班且设置不合理考核，但特殊情形下可能被允许。以下是具体分析：
正常工作安排下
- 关于强制不让回家（加班问题）：根据《劳动法》规定，用人单位由于生产经营需要，经与工会和劳动者协商后可以延长工作时间，一般每日不得超过一小时；因特殊原因需要延长工作时间的，在保障劳动者身体健康的条件下延长工作时间每日不得超过三小时，但是每月不得超过三十六小时。也就是说，单位不能单方面强制员工加班，必须与员工协商一致。如果单位未经协商就强制员工下班后继续留在单位，这属于违法行为，员工有权拒绝。
- 关于考核问题：如果单位以员工拒绝不合理加班为由进行考核，这种考核是不合法的。因为员工有权利拒绝单位违反法律规定的加班要求，单位不能因此对员工进行负面评价或者处罚。员工可以收集相关证据，如考勤记录、单位要求加班的通知、考核文件等，向劳动监察部门投诉，维护自己的合法权益。
特殊情形下
- 不可抗力或紧急任务：在某些特殊情况下，比如发生自然灾害、事故或者因其他原因，威胁劳动者生命健康和财产安全，需要紧急处理的；或者生产设备、交通运输线路、公共设施发生故障，影响生产和公众利益，必须及时抢修的等，单位可以安排员工加班，且不需要与员工协商。在这种情况下，单位进行一定的考核（比如考核员工在紧急任务中的表现等）可能是合理的，但考核的标准和方式也应当符合法律法规和单位的规章制度，不能随意侵犯员工的权益。
- 特殊工时制度：如果单位实行的是不定时工作制或综合计算工时工作制，在保障员工身体健康并充分听取员工意见的基础上，采用集中工作、集中休息、轮休调休、弹性工作时间等适当方式，确保员工的休息休假权利和生产、工作任务的完成。在这种情况下，单位对于工作时间和考核的安排可能会有一些特殊性，但同样需要符合相关规定，不能过度侵犯员工的权益。例如，实行综合计算工时工作制的，在综合计算周期内，某一具体日（或周）的实际工作时间可以超过8小时（或40小时），但综合计算周期内的总实际工作时间不应超过总法定标准工作时间，超过部分应视为延长工作时间，并按照规定支付加班工资。单位不能以实行特殊工时制度为由，随意剥夺员工的休息权利和进行不合理的考核。
如果遇到单位下班不让回家还要考核的情况，你可以先与单位进行沟通协商，表达自己的合理诉求。如果协商无果，可以向当地的劳动监察部门投诉，或者申请劳动仲裁来维护自己的合法权益。如果你还有其他关于劳动法律方面的问题，欢迎随时向我咨询。