直接退回劳务公司是否需要赔偿，不能一概而论，需根据具体情况判断。以下从不同角度为你详细分析：

一、若劳务派遣员工存在法定可退回情形

根据《劳务派遣暂行规定》第十二条，有下列情形之一的，用工单位可以将被派遣劳动者退回劳务派遣单位：

1. 用工单位有劳动合同法第四十条第三项、第四十一条规定情形的：
   • 劳动合同法第四十条第三项规定，劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的。例如，用工单位因市场环境变化，业务大幅萎缩，原本安排劳务派遣员工从事的工作岗位不再需要，且与员工协商调整岗位未达成一致，此时用工单位可将员工退回劳务派遣单位。
   • 劳动合同法第四十一条规定的是经济性裁员的情形，如依照企业破产法规定进行重整的；生产经营发生严重困难的；企业转产、重大技术革新或者经营方式调整，经变更劳动合同后，仍需裁减人员的等。在这些情况下，用工单位也可将劳务派遣员工退回。
2. 用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或者经营期限届满不再继续经营的：当用工单位出现这些法定终止经营的情况时，自然无法继续使用劳务派遣员工，可将员工退回劳务派遣单位。
3. 劳务派遣协议期满终止的：如果用工单位与劳务派遣单位签订的劳务派遣协议到期，且双方不再续签，用工单位可将劳务派遣员工退回。

在上述法定可退回情形下，用工单位将劳务派遣员工退回劳务派遣单位，一般无需向员工支付赔偿。因为这是基于法律规定的合理操作，劳务派遣单位应当按照劳动合同法等相关规定，与被退回员工处理劳动关系，如协商解除劳动合同并支付经济补偿等。

二、若劳务派遣员工不存在法定可退回情形，用工单位强行退回

若用工单位没有法定理由，强行将劳务派遣员工退回劳务派遣单位，这种行为属于违法退回。此时，劳务派遣员工有权要求用工单位承担相应的法律责任。

1. 对于员工而言：员工可以要求用工单位继续履行劳动合同，恢复工作岗位；如果员工不愿意继续在用工单位工作，也可以要求用工单位支付赔偿金。赔偿金的计算标准按照经济补偿标准的二倍计算。经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。例如，员工在用工单位工作了2年3个月，经济补偿为2.5个月工资，那么赔偿金就是5个月工资。
2. 对于劳务派遣单位而言：劳务派遣单位不得因非员工本人原因将员工退回而随意解除劳动合同。如果劳务派遣单位违法解除劳动合同，员工同样可以要求其支付赔偿金，计算方式与上述用工单位违法退回导致员工要求赔偿的情况相同。

三、劳务派遣单位与用工单位之间的责任承担

根据法律规定，劳务派遣单位、用工单位违反本法有关劳务派遣规定的，由劳动行政部门责令限期改正；逾期不改正的，以每人五千元以上一万元以下的标准处以罚款，对劳务派遣单位，吊销其劳务派遣业务经营许可证。用工单位给被派遣劳动者造成损害的，劳务派遣单位与用工单位承担连带赔偿责任。所以，如果因用工单位违法退回员工给员工造成损害，劳务派遣单位可能需要与用工单位一起承担连带赔偿责任。

综上所述，直接退回劳务公司是否需要赔偿，关键在于退回行为是否符合法律规定。如果你遇到相关劳动纠纷问题，欢迎直接向我咨询。