结论：老板不能仅因工人上班迟到20分钟就直接让其下岗（即解除劳动合同），但迟到行为可能成为老板对工人进行纪律处分或调整工作岗位的依据之一，具体需结合公司规章制度及迟到行为的严重性来判断。

分析说明：

1. 劳动合同解除的法定条件：

   • 根据《中华人民共和国劳动合同法》的相关规定，用人单位解除劳动合同需符合法定条件，如劳动者严重违反用人单位的规章制度、严重失职给用人单位造成重大损害等。单纯迟到20分钟，并不直接构成解除劳动合同的法定理由。

2. 公司规章制度的作用：

   • 公司规章制度是用人单位管理劳动者的重要依据。如果公司规章制度中明确规定了迟到行为的处罚措施，包括警告、罚款、降职、解除劳动合同等，并且这些规定不违反法律法规的强制性规定，那么老板可以依据规章制度对迟到工人进行相应的纪律处分。
   • 但即便规章制度中有相关规定，老板也不能随意解除劳动合同。迟到20分钟是否达到“严重违反规章制度”的程度，需要结合具体情况来判断，如迟到频率、是否对工作造成严重影响等。

3. 迟到行为的严重性评估：

   • 迟到20分钟，对于一般的工作岗位来说，可能并不会对工作造成太大的影响。但如果是在需要严格时间管理的岗位，如生产线、客服等，迟到可能会导致生产中断、客户投诉等严重后果，此时迟到行为的严重性就会增加。
   • 老板在评估迟到行为的严重性时，应综合考虑迟到的时间、频率、对工作的影响以及工人的态度等因素。

4. 可能的法律后果：

   • 如果老板仅因工人迟到20分钟就解除劳动合同，且该行为不符合法定解除条件或公司规章制度的规定，那么工人有权向劳动争议仲裁委员会申请仲裁，要求老板支付违法解除劳动合同的赔偿金。
   • 如果老板依据公司规章制度对迟到工人进行了纪律处分，但处分措施过于严厉或不合理，工人也有权提出异议并寻求法律救济。

建议与行动：

• 对于工人：如果因迟到被老板威胁下岗或已经受到不合理的纪律处分，建议先与公司沟通协商，了解具体情况和依据。如果协商无果，可以向劳动争议仲裁委员会申请仲裁或寻求法律援助。
• 对于老板：在处理迟到问题时，应依据公司规章制度和法律法规进行，确保处分措施的合理性和合法性。同时，也应加强与工人的沟通和管理，提高工人的时间意识和纪律性。

额外提醒：每个公司的情况和规章制度都有所不同，具体处理方式还需结合实际情况来判断。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。