劳务派遣人员丧失或部分丧失劳动能力时，派遣单位是否可以退回的问题，需根据具体情况来判断，不能一概而论。以下从不同角度进行分析：

一、法律框架下的基本原则

根据《劳动合同法》及相关规定，劳务派遣单位作为用人单位，与被派遣劳动者之间建立的是劳动关系，应当履行用人单位对劳动者的义务，包括提供劳动保护、支付劳动报酬、缴纳社会保险等。同时，被派遣劳动者在用工单位因工作遭受事故伤害或者患职业病的，应依法享受工伤保险待遇。

二、丧失或部分丧失劳动能力的情形

1. 工伤导致的丧失或部分丧失劳动能力：

   • 如果被派遣劳动者在用工单位因工作原因受到事故伤害或患职业病，导致丧失或部分丧失劳动能力，那么根据《工伤保险条例》的规定，该劳动者应享受相应的工伤保险待遇。
   • 在此情况下，劳务派遣单位通常不能随意退回该劳动者，除非存在法律规定的特定情形（如劳动者严重违反用人单位规章制度、被依法追究刑事责任等）。
   • 若劳动者经劳动能力鉴定委员会鉴定为一级至四级伤残的，保留劳动关系，退出工作岗位，享受相应的伤残津贴待遇，此时劳务派遣单位更无权退回。
   • 若劳动者经鉴定为五级、六级伤残的，保留与用人单位的劳动关系，由用人单位安排适当工作。难以安排工作的，由用人单位按月发给伤残津贴。经工伤职工本人提出，该职工可以与用人单位解除或者终止劳动关系，由工伤保险基金支付一次性工伤医疗补助金，由用人单位支付一次性伤残就业补助金。但此情形下，退回并非派遣单位单方面决定，而是需基于劳动者本人的提出。
   • 若劳动者经鉴定为七级至十级伤残的，劳动、聘用合同期满终止，或者职工本人提出解除劳动、聘用合同的，由工伤保险基金支付一次性工伤医疗补助金，由用人单位支付一次性伤残就业补助金。同样，退回不是派遣单位单方面行为，而是与合同期满或劳动者提出解除合同相关。

2. 非工伤导致的丧失或部分丧失劳动能力：

   • 如果被派遣劳动者丧失或部分丧失劳动能力并非因工作原因导致，那么情况会有所不同。
   • 在此情况下，劳务派遣单位可能需要根据劳动合同的约定、公司规章制度以及相关法律法规的规定，来评估是否可以继续履行与该劳动者的劳动合同。
   • 如果劳动者因非工伤原因丧失或部分丧失劳动能力，且无法胜任原工作，同时也不存在其他适合的工作岗位，那么劳务派遣单位在支付相应的经济补偿后，可能会考虑与劳动者解除劳动合同，但这并非“退回”的常规理解，而是解除劳动合同的法律后果。不过，具体操作还需遵循相关法律法规的规定，确保劳动者的合法权益不受侵害。

三、实际操作中的注意事项

• 合法合规性：劳务派遣单位在处理此类问题时，必须确保自己的行为符合相关法律法规的规定，避免侵犯劳动者的合法权益。
• 人性化处理：在处理丧失或部分丧失劳动能力的劳务派遣人员时，劳务派遣单位应充分考虑劳动者的实际情况和困难，采取人性化、合理化的处理方式。
• 协商与沟通：在可能的情况下，劳务派遣单位应与劳动者、用工单位以及相关部门进行充分的协商和沟通，共同寻求最佳的解决方案。

总结来说，劳务派遣人员丧失或部分丧失劳动能力时，派遣单位是否可以退回需根据具体情况判断。在工伤导致的情形下，通常不能随意退回；在非工伤导致的情形下，也需遵循相关法律法规和劳动合同的约定来处理。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。