工厂不可以随意开除残疾人，是否开除需根据具体情况和法律规定来判断。以下从不同角度为你详细分析：
一、法律对残疾人就业的保护
根据《中华人民共和国残疾人保障法》以及《中华人民共和国劳动法》和《中华人民共和国劳动合同法》的相关规定，国家保障残疾人劳动的权利，禁止基于残疾的歧视，并要求用人单位为残疾人提供适当的就业条件和岗位。这意味着，工厂在决定是否开除残疾人员工时，必须严格遵守这些法律规定，不得因员工残疾而非法解除劳动合同。
二、工厂可以开除残疾人的情形
尽管法律对残疾人就业提供了保护，但在某些特定情况下，工厂仍然可以依法解除与残疾人员工的劳动合同。这些情形主要包括：
员工严重违反规章制度：如果残疾人员工严重违反了工厂的规章制度，且这些规章制度是合法、合理并经过公示或告知员工的，工厂有权依法解除劳动合同。
员工严重失职或营私舞弊：如果残疾人员工在工作中存在严重失职行为，或者利用职务之便谋取私利，给工厂造成重大损害的，工厂也有权解除劳动合同。
员工被依法追究刑事责任：如果残疾人员工因犯罪行为被依法追究刑事责任，工厂可以根据法律规定解除劳动合同。
员工不能胜任工作且无法调整岗位：如果残疾人员工因身体原因或其他原因无法胜任当前工作，且经过培训或调整工作岗位后仍然无法胜任的，工厂在提前三十日以书面形式通知员工本人或者额外支付员工一个月工资后，可以解除劳动合同。但这一情形需要工厂提供充分的证据证明员工确实无法胜任工作，并且已经采取了合理的调整措施。
三、工厂非法开除残疾人的法律后果
如果工厂违反法律规定，非法解除与残疾人员工的劳动合同，将面临以下法律后果：
继续履行劳动合同或支付赔偿金：残疾人员工有权要求工厂继续履行劳动合同，或者要求工厂按照经济补偿标准的二倍支付赔偿金。经济补偿标准根据员工在工厂的工作年限和月工资等因素确定。
行政处罚：工厂还可能面临劳动行政部门的行政处罚，包括罚款、责令改正等。
四、建议与提醒
工厂应谨慎处理：工厂在决定是否开除残疾人员工时，应谨慎评估员工的实际情况和法律规定，确保解除劳动合同的合法性和合理性。
员工应了解自身权益：残疾人员工应了解自己的劳动权益和法律规定，如果认为工厂的行为侵犯了自己的合法权益，可以及时向劳动行政部门投诉或寻求法律援助。
寻求专业法律帮助：在处理此类纠纷时，建议工厂和员工都寻求专业律师的法律帮助，以确保自己的权益得到充分保障。
如果你或你身边的残疾人朋友遇到了类似的问题，或者有任何关于劳动工伤、劳动仲裁方面的疑问，都可以直接向我咨询，我会为你提供专业的法律建议和帮助。