结论：公务员20年前赌钱的行为，从法律追责的角度来看，通常已经超过了追诉时效，因此一般无法再对其进行法律上的追责或要求退还相关财物；但若该行为涉及其他违法犯罪活动或存在其他特殊情况，则需根据具体情况进行分析。

分析：

1. 追诉时效问题：

   • 根据我国《刑法》的相关规定，犯罪经过一定期限后不再追诉。对于赌博行为，若构成犯罪（如赌博罪），其追诉时效通常根据犯罪的法定最高刑来确定。然而，对于一般的赌博行为，若未构成犯罪，则主要受到《治安管理处罚法》的调整。
   • 值得注意的是，即使赌博行为构成犯罪，经过20年的时间，也早已超过了我国刑法规定的追诉时效期限（如法定最高刑为不满五年有期徒刑的，经过五年不再追诉；法定最高刑为五年以上不满十年有期徒刑的，经过十年不再追诉，以此类推）。因此，从法律追责的角度来看，20年前的赌博行为通常已经无法再被追诉。

2. 财物退还问题：

   • 对于赌博中涉及的财物，若属于非法所得，理论上应当予以没收或追缴。然而，在实际操作中，由于时间久远，相关证据可能已经灭失，且涉及的人员和财物情况可能复杂多变，因此很难再对20年前的赌博财物进行准确的追缴或退还。
   • 另外，如果赌博行为并未构成犯罪，而是受到治安管理处罚的，那么相关的财物处理也会依据《治安管理处罚法》的规定进行，但同样会受到时间因素的限制。

3. 特殊情况考虑：

   • 如果20年前的赌博行为涉及其他违法犯罪活动（如诈骗、抢劫等），或者存在其他特殊情况（如赌博行为被隐瞒、未被发现等），那么可能需要根据具体情况进行进一步的分析和判断。
   • 在某些特殊情况下，如果新的证据出现或者原有证据被重新评估，可能会对已经超过追诉时效的案件产生新的影响。但这种情况相对罕见，且需要严格的法律程序和证据支持。

建议：

• 对于公务员个人而言，应当严格遵守法律法规，远离任何违法犯罪活动，包括赌博行为。
• 如果对于20年前的赌博行为存在疑问或担忧，建议咨询专业法律人士以获取更具体的法律意见和指导。
• 在日常生活中，应当增强法律意识，了解并遵守相关法律法规，以避免不必要的法律风险和麻烦。

如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询，我会尽我所能为你提供专业、全面的法律服务。