结论：关于二十年前弟弟顶替哥哥在计生办上班三年后离职能否追究责任的问题，需要分情况讨论，且由于时间久远，追究责任面临诸多困难。

分析如下：

1. 从行政责任角度：

   • 如果弟弟顶替哥哥上班的行为违反了当时的行政规定或单位规章制度，理论上单位或相关部门有权对涉事人员进行行政处理。但考虑到时间已经过去二十年，相关的行政规定可能已经发生变化，且单位的人事档案、处理记录等可能已不复存在，这使得追究行政责任变得极为困难。
   • 此外，行政责任通常有一定的时效限制，超过一定期限后，行政机关可能不再对违法行为进行追究。

2. 从民事责任角度：

   • 如果弟弟顶替上班期间领取了工资或享受了其他福利待遇，而这些原本应属于哥哥的，那么哥哥在理论上可以要求弟弟返还这些不当得利。但同样，由于时间久远，相关的工资记录、银行流水等证据可能已难以获取，这增加了民事追偿的难度。
   • 另外，如果这种顶替行为没有给哥哥造成实际的经济损失，或者哥哥在事后对此行为表示了认可或默许，那么哥哥再要求弟弟承担民事责任可能缺乏法律依据。

3. 从刑事责任角度：

   • 弟弟顶替哥哥上班的行为，除非涉及伪造、变造国家机关公文、证件、印章等严重违法行为，否则一般不构成刑事犯罪。
   • 即使构成刑事犯罪，由于时间已经过去二十年，根据《中华人民共和国刑法》的相关规定，可能已经超过了追诉时效期限，因此无法再追究刑事责任。

建议：

• 鉴于时间久远且证据可能已灭失，追究责任面临诸多困难，建议当事人考虑放弃追究或寻求其他非法律途径解决（如家庭内部协商等）。
• 如果当事人坚持要追究责任，建议先收集相关证据（如工资记录、银行流水、单位证明等），并咨询专业律师以评估案件的可行性和风险。
• 在未来，建议当事人遵守法律法规和单位规章制度，避免类似行为的发生，以免给自己和他人带来不必要的麻烦和损失。

最后，如果还有其他关于劳动工伤或建设工程领域的法律问题，欢迎直接向我咨询。