结论：保安公司扣违约金且不支付加班费的行为可能存在违法情形，保安员可通过合法途径维护自身权益。以下从不同方面为你详细分析：

关于扣违约金

1. 一般情况下劳动合同违约金约定受限：根据《劳动合同法》规定，除两种法定情形外，用人单位不得与劳动者约定由劳动者承担违约金。这两种法定情形分别是：一是用人单位为劳动者提供专项培训费用，对其进行专业技术培训，并与劳动者约定服务期，劳动者违反服务期约定的；二是用人单位与劳动者在劳动合同中约定保守用人单位的商业秘密和与知识产权相关的保密事项，劳动者违反竞业限制约定的。如果保安公司与保安员约定的违约金不属于这两种情形，那么该违约金约定无效，保安公司无权扣违约金。
2. 若存在法定可约定违约金情形：即便属于上述两种可约定违约金的情形，违约金的数额也有一定限制。对于服务期违约金，用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用；对于竞业限制违约金，法律虽未明确规定具体数额限制，但若违约金过高，劳动者可请求法院或仲裁机构予以适当减少。所以，即使存在可约定违约金的情形，保安公司也不能随意扣高额违约金。

关于不支付加班费

1. 加班事实的认定：保安员需要先证明自己存在加班的事实。这可以通过考勤记录、排班表、工作记录、同事证言等证据来证明。例如，保安公司通常会有打卡记录，若打卡记录显示保安员在正常工作时间之外还有工作时间，就可初步证明存在加班情况。
2. 加班费的计算标准：根据法律规定，工作日加班的，支付不低于工资的百分之一百五十的工资报酬；休息日加班又不能安排补休的，支付不低于工资的百分之二百的工资报酬；法定休假日加班的，支付不低于工资的百分之三百的工资报酬。保安公司应按照这些标准向保安员支付加班费。
3. 维权途径：如果保安公司不支付加班费，保安员可以先与保安公司协商解决；协商不成的，可以向当地劳动监察部门投诉，劳动监察部门会依法进行调查处理；也可以向劳动争议仲裁委员会申请仲裁，对仲裁裁决不服的，还可以向法院提起诉讼。

建议：保安员可以收集好相关证据，如劳动合同、考勤记录、工资条等，先与保安公司沟通协商，要求其支付加班费并返还扣除的违约金。如果协商无果，及时向劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。若你在这个过程中有任何疑问，都可以直接向我咨询。