结论：老板不能仅凭员工的一个小错导致他损失了几千万的大单就直接开除员工，是否合法开除需根据具体情况和相关法律规定来判断。

分析如下：

1. 从劳动合同法的角度来看：

   • 根据《中华人民共和国劳动合同法》的相关规定，用人单位解除劳动合同必须符合法定情形，如员工严重违反用人单位的规章制度、严重失职给用人单位造成重大损害等。
   • 在本案例中，虽然员工的一个小错导致了老板损失了几千万的大单，但这一行为是否构成“严重失职”或“给用人单位造成重大损害”，需要具体分析。如果这一错误并非员工故意为之，且其职责范围内并不直接涉及该大单的核心业务，或者即使涉及但错误并非导致损失的唯一或主要原因，那么老板直接开除员工可能缺乏法律依据。

2. 从规章制度的角度来看：

   • 如果用人单位的规章制度中明确规定了类似情况下可以解除劳动合同，并且该规章制度已经向员工公示或告知，那么老板在符合规章制度规定的情况下可以开除员工。
   • 但需要注意的是，规章制度的制定必须合法合理，不能违反法律法规的强制性规定，也不能显失公平。如果规章制度中的相关条款过于苛刻或不合理，那么即使员工违反了这些条款，老板也不能直接依据规章制度开除员工。

3. 从实际损失与过错程度的匹配性来看：

   • 即使员工的行为确实给用人单位造成了重大损失，但老板在开除员工时也需要考虑员工的过错程度与实际损失之间的匹配性。
   • 如果员工的过错程度较轻，而实际损失却非常大，那么老板在开除员工时可能需要承担一定的法律风险。因为法律在保护用人单位利益的同时，也注重保护劳动者的合法权益，避免用人单位滥用解除权。

法律建议：

• 对于老板而言，在决定开除员工之前，应该先进行充分的调查和评估，确定员工的行为是否确实构成了严重违反规章制度或严重失职给用人单位造成重大损害的情形。
• 如果确实符合法定解除情形或规章制度规定，老板在开除员工时也应该遵循法定程序，如提前通知员工、支付经济补偿等。
• 对于员工而言，如果认为老板的开除决定缺乏法律依据或不合理，可以通过劳动仲裁等法律途径来维护自己的合法权益。

可能后果：

• 如果老板未经合法程序或缺乏法律依据直接开除员工，员工可能会向劳动仲裁机构申请仲裁，要求老板支付违法解除劳动合同的赔偿金等。
• 劳动仲裁机构在审理此类案件时，会综合考虑双方提供的证据和法律规定，作出公正的裁决。如果裁决老板违法解除劳动合同，老板可能需要承担相应的法律责任。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。