结论：劳务派遣被退回且合同未到期、未签离职的情况下，用人单位一般仍需为劳动者缴纳社会保险，但具体需分情况讨论。以下是详细分析：
- 劳务派遣退回的法定情形与社保缴纳义务
根据《劳务派遣暂行规定》第十二条，劳务派遣单位（用人单位）将劳动者退回的情形包括：
- 客观情况发生重大变化（如用工单位破产、停业等）；
- 用工单位经营方式调整或劳动合同订立时依据的客观经济情况发生重大变化；
- 用工单位被依法宣告破产、吊销营业执照等；
- 劳动者被依法追究刑事责任、不能胜任工作且培训或调岗后仍不能胜任等。
关键点：无论劳动者是否被退回，只要与劳务派遣单位的劳动合同未解除或终止，用人单位就需继续履行社保缴纳义务。社保缴纳是劳动合同的法定附随义务，与劳动者是否实际提供劳动无关。
未签离职协议对社保缴纳的影响
若劳动者未签署离职协议，通常意味着劳动关系未正式解除。此时需分两种情况：
- 退回后未安排新工作：劳务派遣单位应按当地最低工资标准支付劳动者待岗工资，并继续缴纳社保；
- 退回后解除劳动合同：若劳务派遣单位单方解除合同（需符合法定情形），则需在解除时一次性结清工资、经济补偿（如有），并办理社保减员手续。但未签署离职协议不代表劳动关系自动终止，用人单位仍需承担未解除期间的社保缴纳责任。
实务中的风险与建议
- 对劳动者：若发现用人单位停缴社保，可向当地社保部门投诉或申请劳动仲裁，要求补缴社保并赔偿损失；
- 对用人单位：退回劳动者时，应依法办理书面手续（如退回通知书、解除协议等），避免因程序瑕疵被认定为违法解除，进而承担赔偿金及社保补缴责任。
总结：只要劳动合同未解除，无论劳动者是否被退回或签署离职协议，用人单位均需继续缴纳社保。若您遇到具体纠纷（如用人单位拒缴社保、违法解除等），可直接向我咨询，我会结合您的实际情况提供详细解决方案。