劳动者被行政拘留，用工单位退回是否违反法律规定，需根据具体情况来判断。以下是从不同角度对此问题的详细分析：
一、合法退回的情形
规章制度明确规定：
- 如果用工单位的规章制度中明确规定，员工因行政拘留等违法行为被处罚属于严重违反公司规章制度的行为，并且这一规定的制定、公示或告知程序均符合《劳动合同法》的相关规定，那么用工单位有权依据此规定将员工退回。
- 法律依据：根据《劳动合同法》第三十九条，劳动者严重违反用人单位的规章制度的，用人单位可以解除劳动合同。在此情境下，退回可视为解除劳动合同的一种前置措施或相关处理方式，具体依据单位内部规定及实际情况。
与工作相关性：
- 员工被行政拘留的原因如果与其工作职责有直接关系，或者严重影响了公司的正常运营和声誉，即使规章制度中没有明确规定，用工单位在合理范围内也有权考虑将员工退回。但需确保此行为不违反相关法律法规，且应尽可能通过合法合规的程序进行。
二、不合法退回的情形
规章制度未规定或违法：
- 如果用工单位的规章制度中没有将员工被行政拘留列为严重违纪行为，或者相关规定本身不合法、不合理（如将轻微违法行为导致的行政拘留都视为严重违纪），那么用工单位不能以员工被行政拘留为由将其退回。
- 法律后果：一旦用工单位被认定为违法退回，根据《劳动合同法》第八十七条，用工单位需要按照经济补偿标准的二倍向劳动者支付赔偿金。赔偿金的计算方式依据劳动者在本单位工作的年限来确定。
与工作无直接关联：
- 员工被行政拘留的原因如果与其工作无关，且没有违反公司其他规定，用工单位不能仅仅因为员工被行政拘留就将其退回。这种情况下，退回行为可能构成违法解除劳动合同（或相关劳务/用工关系）。
三、特殊情况与建议
- 特殊岗位与风险：对于涉及公共安全、保密等特殊性质的岗位，员工被行政拘留可能给用工单位带来重大风险或声誉损失。在此情况下，用工单位应谨慎评估，并在确保合法合规的前提下，考虑是否将员工退回。
- 工会意见与程序合规：在处理员工被行政拘留等敏感问题时，用工单位应征求工会意见，并确保处理程序的合规性。这有助于降低法律风险，并维护用工单位的良好形象。
- 员工权益保护：员工在面对被退回的情况时，应了解自己的合法权益，并通过合法途径维护自己的权益。如有需要，可以向劳动仲裁机构或法院提起申诉或诉讼。
总结与建议：劳动者被行政拘留时，用工单位是否能将其退回需综合考虑规章制度、员工行为与工作关系等多个因素。为避免法律风险，用工单位应确保规章制度的合法性、合理性及公示程序的完善性。同时，在处理此类敏感问题时，应谨慎评估、依法决策，并充分保障员工的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。