精神残疾并不一定会限制去工厂打工，但具体情况需根据残疾程度和工作性质来判断。

1. 法律保障：

   • 根据《中华人民共和国残疾人保障法》和《残疾人就业条例》，残疾人享有与其他劳动者平等的就业权利，用人单位应当按照一定比例安排残疾人就业，并为其提供适当的工种、岗位。这意味着，精神残疾人在法律上是有权进入工厂工作的。

2. 实际就业情况：

   • 精神残疾的就业情况因其残疾程度和工作性质的不同而有所差异。对于轻度精神残疾人，如果他们能够稳定情绪，胜任某些特定的工作岗位，那么去工厂打工是可能的。然而，对于重度精神残疾人，由于其可能存在的情绪不稳定和易怒等特性，可能会对工作环境和他人造成潜在风险，因此他们在工厂就业的难度会相对较大。

3. 工作性质考虑：

   • 工厂的工作性质通常要求员工能够遵守规章制度、保持情绪稳定，并与其他员工良好合作。因此，在安排精神残疾人进入工厂工作时，需要特别考虑其残疾程度是否适合该工作环境，以及是否能够胜任所安排的工作岗位。

4. 建议与措施：

   • 对于希望进入工厂工作的精神残疾人，建议首先进行专业的职业评估和康复训练，以确保其具备胜任工作的能力和稳定性。
   • 用人单位在安排精神残疾人就业时，应充分考虑其残疾特性和工作需求，提供适当的工种和岗位，并采取必要的措施保障其工作安全和权益。
   • 同时，社会应加强对精神残疾人的关注和支持，为他们提供更多的就业机会和职业培训，帮助他们更好地融入社会。

综上所述，精神残疾并不一定会完全限制去工厂打工的可能性，但具体情况需要根据残疾程度、工作性质以及个人能力和稳定性来综合判断。如果你或你身边的人有此类问题，可以进一步向我咨询具体的法律建议和就业指导。