保安被用人单位退回保安公司是否违法，需根据具体情况判断，主要取决于退回的理由是否合法、程序是否合规。以下是对此问题的详细分析：
一、合法退回的情形
试用期不符合录用条件：
- 若保安公司在招聘时明确提出了录用条件（如年龄、身体条件、无犯罪记录等），且保安在试用期内未能达到这些标准，用人单位（或保安公司作为用工单位）在有充分证据的情况下，将其退回保安公司是合法的。
严重违反公司规章制度：
- 保安公司已制定合理、明确且经过民主程序公示的规章制度，保安因严重违反这些制度（如多次无故旷工、严重违反保安巡逻规定、收受贿赂、泄露公司机密等）而被退回，通常是合法的。
严重失职、营私舞弊：
- 保安因玩忽职守导致服务区域发生重大盗窃事件，给公司造成重大经济损失或恶劣声誉影响，用人单位或保安公司将其退回属于合法行为。
与其他用人单位建立劳动关系：
- 保安在与保安公司存在劳动关系期间，又与其他单位建立劳动关系，且经保安公司指出后仍不改正，严重影响其在保安公司的正常工作，用人单位或保安公司有权将其退回。
被依法追究刑事责任：
- 保安因犯罪被法院判处刑罚，用人单位或保安公司将其退回是合法的。
劳动合同订立时所依据的客观情况发生重大变化：
- 如因用人单位经营策略调整、业务萎缩等客观情况发生重大变化，导致原劳动合同无法履行，且用人单位与保安协商未能就变更劳动合同内容达成协议的，用人单位可以提前三十日以书面形式通知保安或者额外支付一个月工资后，将其退回保安公司。
二、违法退回的情形
缺乏法定理由：
- 保安公司或用人单位没有上述法定的正当理由，随意找借口将保安退回，如因领导个人喜好、公司经营不善想裁员但未走合法程序等原因，属于违法解除劳动合同（或违法退回）。
未履行法定程序：
- 即使存在法定的退回理由，但如果用人单位或保安公司未按照法律规定的程序进行，如未提前通知工会（如有工会组织）、未向保安说明退回的具体原因和依据等，这种退回行为也是违法的。
存在歧视或报复等非法动机：
- 保安公司或用人单位基于保安的性别、种族、宗教信仰、残疾等因素进行歧视性对待，或者对保安行使合法权利（如举报公司违法行为）进行报复而将其退回，这种退回行为是违法的。此外，保安怀孕或工伤也被退回的情况同样属于违法。
三、保安的权益保护
如果保安认为被用人单位退回保安公司的行为违法，可以采取以下措施维护自己的合法权益：
与公司协商解决：
- 要求恢复劳动关系或获得相应赔偿。协商过程中，保安应保持冷静和理性，明确表达自己的诉求和依据。
向劳动监察部门投诉：
- 寻求政府部门的帮助和支持。劳动监察部门会对投诉进行调查，并依法处理违法行为。
申请劳动仲裁：
- 如果协商无果，保安可以向劳动争议仲裁委员会申请仲裁。在申请仲裁时，需提交详细的仲裁申请书及相关证据材料。仲裁委员会将依法进行审理，并作出裁决。
- 注意事项：劳动争议申请仲裁的时效期间为一年，从当事人知道或者应当知道其权利被侵害之日起计算。因此，保安应及时行使权利。
提起诉讼：
- 若对仲裁结果不满意，保安还可以在收到仲裁裁决书之日起十五日内向人民法院提起诉讼。诉讼过程中，保安应继续提供充分的证据支持自己的主张，并遵循法院的审理程序和要求。
总结来看，保安被用人单位退回保安公司是否违法，需根据具体情况判断。保安应了解自己的合法权益，并在必要时采取适当措施维护自身权益。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。