用工单位在合同到期时，并非可以无条件地将派遣劳动者退回劳务派遣单位，而是需要依据法律规定和合同约定来判断。以下是对此问题的详细分析：
一、可以退回的法定及约定情形
基于协议约定：
- 若劳务派遣协议中明确规定了协议到期时用工单位有权退回派遣人员，且该约定不违反法律法规的强制性规定，则用工单位可依据该约定执行。
法定情形：
- 劳动者过错：如劳动者严重违反用工单位的规章制度、严重失职或营私舞弊给用工单位造成重大损害、被依法追究刑事责任等，用工单位有权依据《劳动合同法》第三十九条的规定将劳动者退回劳务派遣单位。
- 无过失性辞退：如劳动者患病或非因工负伤，医疗期满后不能从事原工作也不能从事另行安排的工作；或不能胜任工作，经培训或调岗后仍不能胜任；或客观情况发生重大变化致使合同无法履行且协商不成等，用工单位可依据《劳动合同法》第四十条的规定将劳动者退回。
- 经济性裁员：当用工单位出现经济性裁员的情形时，如企业破产重整、生产经营发生严重困难等，且依法履行了相关程序，被派遣劳动者若在裁员范围内，可被退回。
- 劳务派遣协议期满终止：若派遣期限届满且不再续订派遣协议，用工单位可依据《劳务派遣暂行规定》及相关法律法规的规定退回劳动者。
二、禁止退回的情形
根据《劳务派遣暂行规定》第十三条，存在以下情形时用工单位不得退回劳动者：
- 从事接触职业病危害作业的劳动者未进行离岗前职业健康检查，或疑似职业病病人在诊断、医学观察期间；
- 在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力；
- 患病或非因工负伤，在规定的医疗期内；
- 女职工在孕期、产期、哺乳期；
- 在本单位连续工作满十五年，且距法定退休年龄不足五年；
- 法律、行政法规规定的其他不得退回的情形。
三、违法退回的后果
若用工单位违反法律规定或合同约定，无故或非法将劳动者退回劳务派遣单位，可能面临以下后果：
- 劳动者权益受损：劳动者有权要求恢复劳动关系，或要求用工单位和劳务派遣单位共同支付赔偿金。
- 行政处罚：用工单位可能面临劳动行政部门的处罚，包括但不限于罚款、警告等。
- 法律责任：用工单位可能因违法退回行为而承担民事赔偿责任，甚至可能因情节严重而构成犯罪，需承担刑事责任。
四、建议与注意事项
- 明确约定：用工单位在签订劳务派遣协议时，应明确约定退工条件及程序，以避免后续纠纷。
- 合法合规：用工单位在退回劳动者时，应确保退工行为的合法性与合理性，严格遵守相关法律法规及合同约定。
- 沟通协商：对于可能出现的争议，用工单位应积极与劳动者、劳务派遣单位沟通协商，寻求妥善解决方案。
综上所述，用工单位在合同到期时退回派遣劳动者并非无条件可行，而是需要依据法律规定和合同约定来判断。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。