持有残疾证的员工在公司不遵守规章制度时，公司是有权开除的。但这一权力的行使必须严格遵守《中华人民共和国劳动合同法》的相关规定，确保辞退行为的合法合规。

可以辞退的情形

根据《中华人民共和国劳动合同法》第三十九条，若持有残疾证的员工存在以下情形之一，公司可以解除劳动合同：

1. 试用期间不符合录用条件：员工在试用期内未能达到公司规定的岗位标准，且有充分证据支持。
2. 严重违反规章制度：员工多次无故旷工、严重违反公司保密制度等，且这些规章制度已经民主程序制定、内容合法并已公示。
3. 严重失职或营私舞弊：员工因自身过错给公司带来重大经济损失或负面影响。
4. 与其他单位建立劳动关系影响本职工作：员工同时在其他公司兼职，导致无法完成本公司任务，且在公司指出后仍不改正。
5. 劳动合同无效：员工以欺诈手段与公司签订劳动合同，如提供虚假学历证书。
6. 被依法追究刑事责任：员工被判处拘役、有期徒刑等刑罚。

特殊保护与不可以辞退的情形

同时，法律也规定了若干不得解除劳动合同的特殊情形，这些同样适用于持有残疾证的员工：

• 未进行离岗前职业健康检查或疑似职业病病人在诊断、医学观察期间的。
• 在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力的。
• 患病或非因工负伤，在规定医疗期内的。
• 女职工在孕期、产期、哺乳期的。
• 在本单位连续工作满十五年，且距法定退休年龄不足五年的。
• 法律、行政法规规定的其他特殊情形。

法律责任与赔偿

如果公司违反法律规定辞退残疾员工，将承担法律责任，通常需按照经济补偿标准的二倍向劳动者支付赔偿金。经济补偿按劳动者在本单位工作的年限计算，具体为：每满一年支付一个月工资的标准向劳动者支付；六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。

综上所述，公司在处理持有残疾证员工的辞退问题时，必须严格遵循法律法规，确保辞退行为的合法性和合规性。同时，员工也应了解自己的权益，通过法律途径维护自己的合法权益。如果您或您身边的人面临此类问题，可以直接向我咨询，我会提供专业的法律建议和支持。