结论：用人单位因劳动者违反用工单位规章制度将其退回后，能否直接辞退劳动者，需分情况讨论，不能一概而论。

1. 若劳动者被退回后，用人单位无合法理由辞退，则构成违法解除

• 法律依据：根据《劳动合同法》第三十九条，用人单位单方解除劳动合同需基于劳动者存在“严重违反用人单位规章制度”“严重失职造成重大损害”等法定情形。若劳动者仅因违反用工单位（如劳务派遣中的用工方）的规章制度被退回，但未直接违反用人单位的规章制度，或其行为未达到“严重”程度，用人单位直接辞退可能缺乏法律依据。
• 案例说明：例如，劳动者被劳务派遣至A公司工作，因迟到3次被A公司退回至派遣单位B公司。若B公司规章制度未将“被用工单位退回”列为解除合同情形，或劳动者迟到行为未违反B公司制度，则B公司直接辞退可能被认定为违法。

2. 若劳动者行为同时违反用人单位规章制度，且达到“严重”程度，用人单位可合法辞退

• 关键点：需满足两个条件：
  1. 制度合法性：用人单位的规章制度需经民主程序制定（如职工代表大会讨论）、内容合法（不违反法律强制性规定）、已向劳动者公示（如培训签收、系统公告）。
  2. 行为严重性：劳动者行为需达到“严重”程度，如多次旷工、盗窃财物、泄露商业秘密等。若仅因轻微违纪（如偶尔迟到）被退回，用人单位直接辞退可能被认定为过度处罚。
• 操作建议：用人单位应保留劳动者违纪的证据（如监控录像、书面警告、签字确认的违纪记录），并在解除合同前通知工会（如有），确保程序合法。

3. 劳务派遣中的特殊情形

• 退回不等于解除：在劳务派遣关系中，用工单位将劳动者退回派遣单位，不直接导致劳动合同解除。派遣单位需重新安排工作或支付待岗工资，若直接辞退需符合《劳动合同法》第三十九条或第四十条（如劳动者不能胜任工作）的规定。
• 例外情形：若用工单位因劳动者“严重违反规章制度”退回，且派遣单位规章制度中明确将此类行为列为解除情形，则派遣单位可依法辞退。

法律建议

1. 对劳动者：若被违法辞退，可向劳动仲裁委申请仲裁，要求继续履行合同或支付赔偿金（按工作年限，每满1年支付2个月工资）。
2. 对用人单位：辞退前需严格审查劳动者行为是否同时违反自身制度，并确保制度合法、程序合规，避免因证据不足或程序瑕疵被认定为违法解除。

提示：劳动纠纷涉及细节较多，如需进一步分析具体案情（如规章制度内容、违纪证据等），可直接向我咨询，我会结合实际情况提供更精准的建议。