结论：您在进厂上班时，对于是否持有残疾证的回答，可能会产生一定影响，具体影响取决于工厂的招聘政策、岗位需求以及相关法律法规的遵守情况。
一、工厂招聘政策与岗位需求角度
若工厂无特殊要求：
- 如果工厂在招聘时并未明确要求员工必须持有或不能持有残疾证，那么您回答“没有”可能不会对您的工作产生直接影响。但长远来看，如果后续工厂发现您实际持有残疾证，可能会对您与工厂之间的信任关系产生一定影响。
若工厂有特殊要求：
- 如果工厂在招聘时明确要求员工不能持有残疾证（这通常涉及对岗位能力的特殊要求或工厂内部的某些规定），那么您回答“没有”而实际上持有，可能构成对工厂招聘条件的隐瞒或欺骗。这种情况下，工厂有权根据内部规定或劳动合同中的相关条款，对您采取相应的处理措施，如解除劳动合同等。
- 反之，如果工厂在招聘时倾向于雇佣持有残疾证的员工（例如，为了履行社会责任或享受相关政策优惠），那么您回答“没有”可能会使您错过这个工作机会。
二、法律法规遵守角度
平等就业原则：
- 根据我国相关法律法规，用人单位在招聘过程中应当遵循平等就业的原则，不得因员工持有残疾证而对其进行歧视。如果您因为持有残疾证而在招聘过程中受到不公平对待，您可以依法维护自己的合法权益。
- 但同时，您也有义务如实告知用人单位与工作相关的个人信息。如果您故意隐瞒持有残疾证的事实，而这一事实又与工作能力或岗位需求密切相关，那么您可能会面临一定的法律风险。
劳动合同与诚信原则：
- 在签订劳动合同时，双方应当遵循诚信原则。如果您在招聘过程中故意隐瞒重要信息（如持有残疾证），这可能会影响劳动合同的效力或导致劳动合同被解除。
三、建议与后续行动
如实告知：
- 考虑到长远的工作关系和法律风险，建议您在适当的时候向工厂如实告知您持有残疾证的情况。这有助于建立与工厂之间的信任关系，并避免可能的法律纠纷。
了解工厂政策：
- 在告知之前，您可以先了解工厂的招聘政策和岗位需求，以及工厂对持有残疾证员工的态度。这有助于您更好地评估告知的后果和制定相应的策略。
寻求法律支持：
- 如果您在告知过程中遇到任何问题或纠纷，或者您认为工厂的行为违反了相关法律法规，您可以及时寻求法律支持或咨询专业律师（比如我）以维护自己的合法权益。
最后，诚实是建立任何关系的基础，包括工作关系。虽然短期内隐瞒某些信息可能看似有利，但长期来看，诚实和透明更有助于建立稳定和健康的工作关系。如果您有任何法律问题或需要进一步的法律建议，请随时向我咨询。