残疾人完全可以去工厂上班，但需要结合具体情况分析其劳动权益保障及工厂的法定义务。具体如下：

1. 法律明确保障残疾人就业权
   根据《中华人民共和国残疾人保障法》第三十条，国家保障残疾人劳动的权利，禁止基于残疾的就业歧视。工厂作为用人单位，不得以“身体残疾”为由拒绝录用符合岗位条件的残疾人，否则可能构成违法。

2. 工厂需提供合理便利
   若残疾人因残疾在履行岗位职责时存在困难，工厂有义务根据《残疾人就业条例》第六条提供“合理便利”，例如：

   • 调整工作岗位或工作内容（如将体力劳动转为操作设备）；
     
   • 改造工作场所（如安装无障碍设施、调整工位高度）；
     
   • 提供辅助工具（如语音提示设备、放大镜等）。
     若工厂拒绝提供合理便利导致残疾人无法工作，可能被认定为就业歧视。

3. 工厂需履行安全保障义务
   根据《中华人民共和国安全生产法》第四条，工厂需为所有员工（包括残疾人）提供安全的工作环境。例如：

   • 对存在安全隐患的岗位（如高空作业、接触有毒物质），需评估残疾人是否适合；
     
   • 若残疾人因残疾可能增加事故风险，工厂应调整岗位或加强防护措施，而非直接拒绝录用。

4. 特殊情况限制
   若残疾人因残疾完全无法胜任某岗位（如双目失明者从事驾驶工作），且工厂无法通过调整岗位或提供便利解决，此时工厂可以拒绝录用，但需证明“岗位与残疾存在直接冲突”。若工厂仅以“可能增加管理成本”为由拒绝，仍可能违法。

建议：若残疾人遇到工厂拒录、未提供合理便利或存在安全隐患的情况，可向当地劳动监察部门投诉或申请劳动仲裁。如有具体案例或细节需要分析，欢迎直接向我咨询。