结论：是否需要退还工资，取决于老板打钱的原因及性质。若工资发放无误，老板无权要求退还；若存在多发、错发或特殊约定等情况，则需根据具体情况判断是否应退还。
详细分析：
工资发放无误的情况：
- 如果老板打入你工资卡的款项是你应得的工资，且金额、发放时间等均符合劳动合同或公司规章制度的规定，那么老板无权要求你退还这笔款项。
- 在这种情况下，如果你拒绝退还，老板不能通过法律手段强制你退还，因为这属于你的合法收入。
工资多发或错发的情况：
- 如果老板由于疏忽或计算错误，多打了工资给你，那么根据《中华人民共和国民法典》中关于不当得利的规定，你应当退还多收的款项。
- 不当得利是指一方在没有合法依据的情况下获得利益，而另一方因此遭受损失。在这种情况下，老板有权要求你退还多发的工资，如果你拒绝退还，老板可以通过法律途径追讨。
存在特殊约定或预支工资的情况：
- 如果老板打钱给你是因为你们之间有特殊的约定，比如预支工资、奖金或福利等，并且这种约定是合法有效的，那么你需要根据约定来履行你的义务。
- 如果约定中明确规定了退还的条件和期限，那么你需要按照约定来退还。如果约定不明确或存在争议，你可以与老板协商解决，或者寻求法律帮助来明确双方的权利和义务。
老板以非法手段要求退还的情况：
- 如果老板以威胁、恐吓或其他非法手段要求你退还工资，那么你有权拒绝，并可以向相关部门投诉或报警。
- 在这种情况下，老板的行为可能构成违法或犯罪，你将受到法律的保护。
建议与行动：
- 核实工资发放情况：首先，你需要核实老板打钱的原因及金额是否与你的应得工资相符。如果不符，你需要与老板沟通确认原因。
- 保留相关证据：无论是否需要退还工资，你都应该保留好相关的证据，比如工资条、银行转账记录、劳动合同等，以备不时之需。
- 寻求法律帮助：如果你对老板的要求存在疑问或争议，或者老板以非法手段要求你退还工资，你可以寻求法律帮助来维护自己的合法权益。
后续思考：
- 在处理此类问题时，你需要保持冷静和理性，不要因为情绪而做出冲动的决定。
- 你可以与老板进行友好沟通，尝试通过协商解决问题。如果协商无果，你可以考虑寻求法律帮助或向相关部门投诉。
- 在未来的工作中，你也可以更加注意自己的工资发放情况，及时与老板沟通确认，以避免类似的争议发生。