结论：公务员作为担保人，在2004年借款并于2006年到期的借款合同中，是否还有责任，主要取决于担保方式、担保期限以及是否已过诉讼时效等多个因素。以下是对这些因素的详细分析：

1. 担保方式：

   • 一般保证：如果公务员提供的是一般保证，那么在主合同纠纷未经审判或仲裁，并就债务人财产依法强制执行仍不能履行债务前，保证人可以拒绝承担保证责任。但一旦债务人无法履行债务，保证人需承担补充责任。
   • 连带责任保证：如果公务员提供的是连带责任保证，那么债权人可以直接要求保证人承担保证责任，无需先向债务人追偿。

2. 担保期限：

   • 担保期限是担保人承担担保责任的期间。如果担保合同中明确约定了担保期限，且该期限未过，则担保人仍需承担担保责任。
   • 如果担保合同未约定担保期限，根据《中华人民共和国民法典》的相关规定，保证期间为主债务履行期届满之日起六个月。在此期间内，债权人未要求保证人承担保证责任的，保证人免除保证责任。

3. 诉讼时效：

   • 诉讼时效是债权人向法院请求保护其民事权利的法定期间。对于借款合同纠纷，诉讼时效通常为三年，自债权人知道或应当知道权利受到损害以及义务人之日起计算。
   • 如果债权人未在诉讼时效期间内提起诉讼或申请仲裁，且担保人提出诉讼时效抗辩，则担保人可能免除担保责任。但需注意，如果担保人在诉讼时效期间内曾承诺履行担保责任，则诉讼时效可能重新计算。

具体分析：

• 假设公务员提供的是连带责任保证，且担保合同中未约定担保期限，那么根据法律规定，保证期间为主债务履行期届满之日起六个月（即2006年借款到期后的六个月内）。如果债权人在此期间内未要求公务员承担保证责任，则公务员免除保证责任。
• 如果担保合同中约定了更长的担保期限，且该期限未过，或者公务员在诉讼时效期间内曾承诺履行担保责任，导致诉讼时效重新计算，则公务员仍需承担担保责任。
• 另外，如果公务员提供的是一般保证，且债权人已就债务人财产依法强制执行仍不能履行债务，那么公务员需承担补充责任，除非已过诉讼时效或担保期限。

建议：

• 债权人应尽快审查担保合同，确定担保方式和担保期限。
• 如果担保期限未过且未过诉讼时效，债权人应及时向公务员主张担保责任。
• 如果已过担保期限或诉讼时效，债权人可能需要考虑其他法律途径来维护自身权益。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我将根据您的具体情况提供详细的法律建议。