关于驻厂派遣人员被退回并解除劳务合同是否需要赔偿的问题，这并非一个简单的“是”或“否”的答案，而是需要根据具体情况来判断。以下是我从不同角度为你进行的分析：
一、劳务派遣合同的基本规定
在劳务派遣关系中，通常存在三方主体：劳务派遣单位、用工单位（即你提到的“驻厂”单位）和被派遣劳动者。劳务派遣单位与被派遣劳动者签订劳动合同，建立劳动关系，并将劳动者派遣至用工单位工作。用工单位则负责实际使用劳动者，并按照劳务派遣协议的约定向劳务派遣单位支付费用。
二、被退回并解除劳务合同的情况分析
用工单位无过错退回：
- 如果用工单位因生产经营需要调整、客观情况发生重大变化等原因，且这些原因并非用工单位过错导致，同时用工单位已经按照劳务派遣协议的约定和法律规定履行了相关程序（如提前通知劳务派遣单位、与劳务派遣单位协商等），那么用工单位可以将被派遣劳动者退回劳务派遣单位。
- 在这种情况下，如果劳务派遣单位与被派遣劳动者的劳动合同尚未到期，且劳务派遣单位没有合法理由解除劳动合同，那么劳务派遣单位通常不能直接解除劳动合同，否则可能构成违法解除，需要承担相应的赔偿责任。
- 赔偿标准：如果劳务派遣单位违法解除劳动合同，根据《劳动合同法》的相关规定，被派遣劳动者有权要求劳务派遣单位支付赔偿金，赔偿金的标准为经济补偿金的两倍。经济补偿金则根据被派遣劳动者在劳务派遣单位的工作年限和月工资来计算，具体公式为：经济补偿金 = 工作年限 × 月工资。如果工作年限超过12年，则按12年计算；月工资高于当地上年度职工月平均工资三倍的，则按三倍计算，且最高不超过12年。
用工单位有过错退回：
- 如果用工单位因自身过错（如违反法律法规、劳务派遣协议等）导致被派遣劳动者被退回，那么劳务派遣单位在解除劳动合同时可能需要承担更严格的审查义务。
- 在这种情况下，如果劳务派遣单位能够证明解除劳动合同是合法的（如被派遣劳动者存在严重违反规章制度等情形），则可能不需要支付赔偿金。但如果劳务派遣单位无法证明解除劳动合同的合法性，或者解除劳动合同的行为本身存在违法性，那么劳务派遣单位仍然需要承担赔偿责任。
劳务派遣单位主动解除劳动合同：
- 如果劳务派遣单位因自身原因（如经营困难、业务调整等）主动解除与被派遣劳动者的劳动合同，那么劳务派遣单位需要按照《劳动合同法》的规定支付经济补偿金。
- 经济补偿金的标准同样根据被派遣劳动者在劳务派遣单位的工作年限和月工资来计算，具体公式同上。
三、特殊情况下的赔偿问题
- 劳务派遣协议中的特别约定：如果劳务派遣协议中对于被退回并解除劳动合同的情况有特别约定（如约定了特定的赔偿标准或方式），那么应当优先适用协议中的约定。
- 地方性法规或政策：不同地区可能对于劳务派遣关系中的赔偿问题有特别的规定或政策，因此在具体案件中还需要考虑当地的相关规定。
四、建议与措施
- 审查劳务派遣协议：首先，建议审查劳务派遣协议中关于被退回并解除劳动合同的条款，了解双方的权利和义务。
- 收集证据：如果认为劳务派遣单位或用工单位的行为存在违法性，建议及时收集相关证据（如劳动合同、劳务派遣协议、退回通知、解除劳动合同通知等）。
- 咨询专业律师：由于劳务派遣关系中的赔偿问题涉及多个方面和复杂的法律规定，因此建议咨询专业律师以获取更具体的法律建议和帮助。
最后，我想强调的是，每个案件的具体情况都是不同的，因此在处理类似问题时需要综合考虑多个因素。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。