劳动者被用工单位违规退回，确实可以起诉要求恢复劳动关系，但具体能否恢复需视情况而定。以下是从不同角度对此问题的详细分析：
一、法律背景与依据
根据《中华人民共和国劳动合同法》及相关法律法规，用工单位与劳动者之间建立的是劳动关系，双方应当遵循合法、公平、平等自愿、协商一致、诚实信用的原则。若用工单位违规退回劳动者，即违反了这些原则，劳动者有权依法维护自己的合法权益。
二、能否恢复劳动关系的分析
违规退回的认定：
- 首先，需要明确用工单位退回劳动者的行为是否违规。这通常涉及对用工单位与劳动者之间签订的劳动合同、用工协议以及相关法律法规的审查。
- 如果用工单位没有合法依据或违反了法定程序退回劳动者，那么该行为可能被认定为违规。
恢复劳动关系的可能性：
- 若违规退回成立：劳动者可以向劳动争议仲裁委员会申请仲裁，要求恢复劳动关系。在仲裁过程中，劳动者需要提供证据证明用工单位的退回行为是违规的，如劳动合同、用工协议、退回通知、相关证据材料等。
- 仲裁结果：如果仲裁委员会认定用工单位的退回行为违规，且劳动者要求恢复劳动关系的请求合理，那么仲裁委员会可能会裁决恢复劳动关系。用工单位需执行仲裁裁决，否则劳动者可以向人民法院申请强制执行。
- 特殊情况：然而，也存在一些特殊情况，如劳动者已与其他单位建立劳动关系、劳动者达到法定退休年龄或享受基本养老保险待遇等，这些情况下可能无法恢复劳动关系。
无法恢复劳动关系的替代方案：
- 如果因各种原因无法恢复劳动关系，劳动者可以要求用工单位支付违法解除劳动关系的赔偿金。赔偿金的计算通常依据劳动者在用工单位的工作年限、工资水平等因素确定。
三、法律建议与行动指南
- 收集证据：劳动者在发现被违规退回后，应尽快收集相关证据，如劳动合同、用工协议、退回通知、工资单、工作记录等，以证明自己的权益受到侵害。
- 咨询专业律师：在提起仲裁或诉讼前，建议劳动者咨询专业律师，了解自己的权益和可能的法律后果，以便做出更明智的决策。
- 提起仲裁或诉讼：根据律师的建议和自身情况，劳动者可以选择向劳动争议仲裁委员会申请仲裁或直接向人民法院提起诉讼，要求恢复劳动关系或支付赔偿金。
四、可能的法律后果
- 如果劳动者胜诉：用工单位需恢复劳动关系或支付赔偿金，并可能承担仲裁或诉讼费用。
- 如果劳动者败诉：则可能无法恢复劳动关系，也无法获得赔偿金，但可以了解自身在法律上的不足，以便在未来更好地维护自己的权益。
总结来说，劳动者被用工单位违规退回后，有权起诉要求恢复劳动关系。但具体能否恢复需视违规退回的认定、仲裁结果以及特殊情况等因素而定。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。