结论前置：残疾人作为劳动者，在工厂上班时，用人单位不能随意辞退，只有在符合法定情形时，用人单位才可以解除劳动合同。

具体分析如下：

1. 法定保护原则：

   • 根据《中华人民共和国劳动法》和《中华人民共和国劳动合同法》的相关规定，残疾人劳动者享有与其他劳动者同等的劳动权益，包括就业、报酬、休息休假、劳动安全卫生、保险福利等。
   • 用人单位在辞退残疾人劳动者时，必须遵循法定程序和条件，不能随意辞退。

2. 用人单位可解除劳动合同的情形：

   • 试用期不符合录用条件：如果残疾人在试用期内被证明不符合录用条件，用人单位可以解除劳动合同。但这一条件同样适用于非残疾人劳动者，且需要用人单位有明确的录用条件和考核标准。
   • 严重违反规章制度：如果残疾人劳动者严重违反用人单位的规章制度，用人单位可以解除劳动合同。但规章制度必须合法、合理，且已经向劳动者公示或告知。
   • 严重失职、营私舞弊：如果残疾人劳动者因严重失职或营私舞弊给用人单位造成重大损害，用人单位可以解除劳动合同。
   • 被依法追究刑事责任：如果残疾人劳动者被依法追究刑事责任，用人单位可以解除劳动合同。
   • 其他法定情形：如劳动者患病或非因工负伤，在规定的医疗期满后不能从事原工作也不能从事由用人单位另行安排的工作；或者劳动者不能胜任工作，经过培训或调整工作岗位仍不能胜任工作等，用人单位在提前三十日以书面形式通知劳动者本人或额外支付劳动者一个月工资后，可以解除劳动合同。但这些情形同样需要严格遵循法定程序和条件。

3. 禁止辞退的情形：

   • 根据《中华人民共和国劳动合同法》第四十二条的规定，劳动者有下列情形之一的，用人单位不得依照本法第四十条、第四十一条的规定解除劳动合同：…（五）在本单位连续工作满十五年，且距法定退休年龄不足五年的；（六）法律、行政法规规定的其他情形。虽然该条款未直接提及残疾人，但残疾人劳动者同样享有这些保护，且根据《中华人民共和国残疾人保障法》，残疾人劳动者在就业方面享有特别的保护。
   • 特别地，对于残疾人劳动者，除非其存在严重违反规章制度、严重失职、营私舞弊或被依法追究刑事责任等法定情形，否则用人单位不得随意辞退。

4. 违法辞退的后果：

   • 如果用人单位违法辞退残疾人劳动者，劳动者有权要求用人单位继续履行劳动合同或支付赔偿金。赔偿金的标准通常为经济补偿标准的二倍。

建议：

• 对于残疾人劳动者而言，如果遭遇用人单位违法辞退，应及时收集证据并寻求法律援助或向劳动争议仲裁委员会申请仲裁。
• 对于用人单位而言，应严格遵守法律法规，不得随意辞退残疾人劳动者。在解除劳动合同时，应确保符合法定情形和程序，以避免法律风险。

进一步思考：

• 在实际操作中，如何界定“严重违反规章制度”、“严重失职、营私舞弊”等情形可能存在争议。因此，用人单位在制定规章制度时应尽可能明确具体、合理合法，并在解除劳动合同时提供充分的证据支持。
• 残疾人劳动者在就业过程中应了解自己的权益和保护措施，积极维护自己的合法权益。同时，社会也应加强对残疾人劳动者的关注和支持，促进他们平等就业和融入社会。