结论：在厂工作20多年后被降职，是否需要赔钱，这主要取决于降职的原因以及是否违反了相关法律法规或劳动合同的约定。以下从不同角度进行分析：
劳动合同与规章制度：
- 劳动合同约定：首先，需要查看您与工厂签订的劳动合同中是否有关于职位调整、降职或解雇的条款。如果合同中明确规定了降职的条件和程序，且工厂在降职时遵循了这些规定，那么工厂可能不需要支付赔偿。
- 规章制度：工厂的内部规章制度也可能对降职有相关规定。如果这些规章制度是合法有效的，并且您在入职时已经知晓并同意，那么工厂在降职时遵循这些规定，同样可能不需要支付赔偿。
降职原因：
- 合法原因：如果降职是由于您的工作表现不佳、违反工厂规章制度或法律法规等原因，且工厂能够提供充分的证据证明这一点，那么工厂可能不需要支付赔偿。
- 非法原因：如果降职是由于工厂的歧视、报复或其他非法原因，那么您有权要求工厂支付赔偿。这种情况下，您可以考虑向劳动监察部门投诉或提起劳动仲裁。
赔偿问题：
- 经济补偿：如果降职导致您的工资收入减少，且这种减少不是由于您自身的原因造成的，您可以考虑要求工厂支付经济补偿。但具体是否需要支付以及支付的金额，需要根据实际情况和法律法规来判断。
- 违法解除劳动合同的赔偿：如果降职实际上是一种变相的解雇，且工厂没有合法依据进行解雇，那么您有权要求工厂支付违法解除劳动合同的赔偿金。赔偿金的计算通常依据您在工厂的工作年限和工资水平来确定。
法律建议：
- 审查合同与制度：首先，建议您仔细审查与工厂签订的劳动合同以及工厂的规章制度，了解降职的相关规定和程序。
- 收集证据：如果认为降职是非法的或存在争议，建议您收集相关证据，如工作表现记录、降职通知、工资单等，以支持您的主张。
- 寻求法律帮助：如果您对降职有异议或认为工厂的行为违反了法律法规，建议您及时咨询专业律师（即向我咨询），了解您的权利和可行的法律途径。
可能法律后果：
- 如果工厂降职行为合法且符合合同和制度规定，您可能无法获得赔偿。
- 如果工厂降职行为非法或存在争议，您可能通过法律途径获得经济补偿或违法解除劳动合同的赔偿金。
总之，在处理此类问题时，建议您保持冷静，仔细审查相关证据和法律法规，并在必要时寻求专业法律帮助。如果您有任何疑问或需要进一步的法律咨询，请随时向我提问。