结论：二十年前违法计划生育的行为，现在一般不能追究责任，但特定情形下可能仍需承担相应责任。以下从不同角度进行分析：
一、一般情况下的责任追究时效
行政处罚的时效：
- 根据《行政处罚法》的相关规定，违法行为在二年内未被发现的，不再给予行政处罚。这一规定适用于大多数行政违法行为，包括违法计划生育的行为。
- 二十年前违法计划生育的行为，如果当时未被发现或未被处罚，且没有持续状态或连续状态，那么现在一般已经超过了行政处罚的时效期限，行政机关不再给予行政处罚。
社会抚养费的征收时效：
- 社会抚养费是针对违法生育行为的一种经济处罚措施。然而，随着计划生育政策的调整，特别是全面二孩、三孩政策的实施，社会抚养费的征收制度已经发生了很大变化。
- 在多数地区，对于历史上的违法生育行为，如果已经超过了社会抚养费的征收时效（通常也是二年），或者政策已经明确不再征收社会抚养费，那么现在一般不再追究。
二、特定情形下的责任追究
持续或连续违法行为：
- 如果违法计划生育的行为存在持续状态或连续状态，例如未按规定缴纳社会抚养费且持续至今，那么行政机关可能仍然有权进行处罚或追缴。
- 但这种情况相对较少，且需要具体分析违法行为的性质、持续时间以及相关法律法规的规定。
政策调整或特殊规定：
- 在某些特殊情况下，政府可能出于特定目的（如人口调控、社会公平等）对历史上的违法生育行为进行追溯处理。
- 但这种情况通常会有明确的政策依据或法律规定，且需要遵循法定程序进行。从目前的政策趋势来看，这种情况较为罕见。
三、法律建议与风险提示
了解当地政策：
- 由于计划生育政策在不同地区、不同时间可能存在差异，因此建议咨询当地计划生育部门或相关政府部门，了解具体政策规定和执行情况。
保留相关证据：
- 如果担心可能面临责任追究，建议保留好与违法生育行为相关的所有证据（如出生证明、罚款收据等），以便在需要时进行说明或申辩。
寻求法律帮助：
- 如果确实面临责任追究或法律纠纷，建议及时寻求专业律师的帮助，了解自身权利和义务，制定合理的应对策略。
总结：二十年前违法计划生育的行为，在一般情况下已经超过了行政处罚和社会抚养费征收的时效期限，行政机关不再给予处罚或追缴。但特定情形下（如持续或连续违法行为、政策调整或特殊规定）可能仍需承担相应责任。因此，建议了解当地政策、保留相关证据，并在必要时寻求法律帮助。如有任何疑问或需要进一步的法律咨询，请直接向我提问。