结论：公司老板给员工的非工资的钱在离职时是否可以要回来，这主要取决于该笔款项的性质、双方之间的约定以及相关法律法规的规定。以下从不同角度进行分析：

1. 款项性质：

   • 如果该笔款项被明确界定为借款：那么员工在离职时有义务归还该笔借款。这通常基于双方之间的借款协议或相关证据，如转账记录、借条等。
   • 如果该笔款项被视为赠与：在一般情况下，赠与一旦完成，除非存在法定撤销事由（如受赠人严重侵害赠与人或其近亲属的合法权益等），否则赠与人不得要求返还。但若赠与附有条件（如员工需在公司工作满一定年限等），而员工未满足这些条件，则赠与人可能有权要求返还。
   • 如果该笔款项是奖金、津贴或福利等：这些通常被视为员工薪酬的一部分，员工在离职时无需归还。但具体是否需要归还，还需根据双方之间的劳动合同、公司规章制度以及相关法律法规进行判断。

2. 双方约定：

   • 如果双方在发放该笔款项时就有明确的约定，如“该笔款项需在员工离职时归还”或“该笔款项为无息借款，离职时需一次性还清”等，那么员工在离职时应按照约定归还该笔款项。
   • 如果双方没有明确的约定，或者约定不明确，那么就需要根据款项的性质以及相关法律法规进行判断。

3. 相关法律法规：

   • 根据《中华人民共和国民法典》中关于借款合同和赠与合同的规定，借款合同是借款人向贷款人借款，到期返还借款并支付利息的合同；赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。这些规定为判断非工资款项是否需要归还提供了法律依据。
   • 此外，如果该笔款项涉及公司财务制度或税务问题，还需要考虑相关法律法规对公司财务和税务处理的规定。

建议：

• 对于员工而言，在离职前应仔细审查与公司的劳动合同、借款协议、赠与协议等相关文件，明确自己是否需要归还该笔款项。
• 如果员工对是否需要归还该笔款项存在疑问，建议咨询专业律师或法律机构，以获取更准确的法律意见。
• 对于公司而言，在发放非工资款项时，应明确款项的性质、用途以及归还条件等，并签订相关协议或合同，以避免后续产生纠纷。

可能后果：

• 如果员工在离职时拒绝归还应归还的款项，公司可能会通过法律途径追讨，这可能导致员工面临法律诉讼和相应的法律责任。
• 如果公司错误地要求员工归还不应归还的款项，员工也有权通过法律途径维护自己的合法权益。