关于“一般劳务报酬退回的钱是否需要给单位”的问题，这主要取决于劳务报酬退回的具体原因和性质，不能一概而论。以下从几个常见角度进行分析：
因单位原因导致的退回：
- 如果劳务报酬的退回是由于单位的原因，比如单位多发了工资、奖金或者误发了其他费用，那么根据一般的财务和劳动管理原则，员工应当将这部分多收的款项退回给单位。这是因为单位有权要求员工返还其不应得的财产，以维护单位的财务秩序和公平原则。
因员工原因导致的退回（但非员工过错）：
- 在某些情况下，虽然劳务报酬的退回与员工有关，但并非员工的过错导致，比如单位因为政策调整、项目取消等原因需要收回已发放的劳务报酬。这种情况下，员工是否需要退回款项，可能需要根据双方签订的劳务合同或者单位的相关规定来确定。如果合同或规定中有明确约定，那么员工应当按照约定执行；如果没有约定，双方可以协商解决。
因员工过错导致的退回：
- 如果劳务报酬的退回是由于员工的过错导致，比如员工提供了虚假的工作成果、违反了单位的规章制度等，那么单位不仅有权要求员工退回已发放的劳务报酬，还可能根据员工的过错程度追究其相应的法律责任。这种情况下，员工应当积极配合单位的处理，并承担相应的责任。
特殊情况下的处理：
- 在某些特殊情况下，比如员工已经离职且单位未及时支付经济补偿金等，员工可能不需要退回部分或全部劳务报酬。但这需要根据具体的法律法规和双方签订的合同来确定。
法律建议：
- 在处理劳务报酬退回的问题时，建议员工首先与单位进行沟通，了解退回的具体原因和依据。
- 如果员工对单位的处理有异议，可以查阅双方签订的劳务合同或者单位的相关规定，以了解自己的权利和义务。
- 如果双方无法协商解决，员工可以向当地的劳动监察部门投诉或者寻求法律援助，以维护自己的合法权益。
可能涉及的法律后果：
- 如果员工拒绝退回不应得的劳务报酬，单位可能会通过法律途径追讨，这可能会给员工带来不必要的法律麻烦和经济损失。
- 如果员工因为过错导致劳务报酬需要退回，并且拒绝承担相应责任，单位可能会根据员工的过错程度追究其法律责任，包括但不限于要求赔偿损失、解除劳务合同等。
总结来说，劳务报酬退回的钱是否需要给单位，取决于退回的具体原因和性质。在处理这类问题时，建议员工保持冷静、理性沟通，并依据相关法律法规和合同约定来维护自己的合法权益。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。