公司作为用工单位将外包人员退回用人单位，一般不需要承担直接的赔偿责任，但具体责任需根据合同约定、退回原因及法律规定来判断。以下是对此问题的详细分析：

一、法律关系与基本原则

在劳务外包关系中，通常存在两层法律关系：一是外包员工与用人单位（即劳务承包单位）之间的劳动关系，受《中华人民共和国劳动合同法》的保护；二是用工单位（即发包方）与用人单位之间的民事合同关系，主要受《中华人民共和国民法典》的约束。因此，当用工单位将外包人员退回用人单位时，其责任承担需依据这两层法律关系来判断。

二、用工单位无需承担赔偿责任的情况

1. 因合法原因退回：

   • 若用工单位因自身经营调整、项目结束等合法原因将外包人员退回，且此过程中没有违反法律规定或合同约定，则用工单位通常无需承担赔偿责任。

2. 合同明确约定：

   • 如果用工单位与用人单位在劳务外包合同中明确约定了退回的条件和程序，且用工单位按照合同约定执行，则用工单位也无需承担赔偿责任。

三、用工单位可能需要承担责任的情况

1. 存在过错导致退回：

   • 如果用工单位在劳务外包过程中存在过错（如未依法审查用人单位的资质、未明确约定服务标准和质量要求等），导致外包人员权益受损并被退回，用工单位可能需要承担相应的补充责任或连带责任。但这种责任并非直接针对退回行为的赔偿，而是针对因过错导致的损害赔偿。

2. 合同未明确约定或违反法律规定：

   • 如果劳务外包合同未明确约定退回的条件和程序，或者用工单位在退回过程中违反了法律规定（如未提前通知、未支付相关费用等），则用工单位可能需要承担一定的法律责任。但这种责任同样需要具体分析合同内容和法律规定来确定。

四、用人单位的责任

作为劳动者的用人单位，劳务承包单位在收到用工单位退回的外包人员后，应依法承担用人单位的义务和责任。如果因用人单位自身原因（如经营困难、业务调整等）需要辞退员工，应按照《劳动合同法》等相关法律法规的规定，向员工支付相应的经济补偿金或赔偿金。

五、法律建议与维权途径

1. 审查合同条款：

   • 用工单位和用人单位在签订劳务外包合同时，应明确约定退回的条件、程序和责任承担等条款，以避免后续纠纷。

2. 遵守法律规定：

   • 双方在执行合同过程中，应严格遵守相关法律法规的规定，确保外包人员的合法权益得到保障。

3. 维权途径：

   • 如果外包人员认为自身权益受到侵害，可通过与用人单位协商、向当地劳动监察部门投诉、申请劳动仲裁或提起诉讼等途径来维护自己的合法权益。

综上所述，公司作为用工单位将外包人员退回用人单位时，一般不需要承担直接的赔偿责任。但具体责任需根据合同约定、退回原因及法律规定来判断。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。