要证明曾被有关部门追究刑事行政责任，可以从以下几个方面来着手：

1. 查阅官方记录：

   • 公安机关记录：首先，可以尝试联系当地的公安机关，申请查阅个人的犯罪记录或行政处罚记录。这些记录通常会详细列明个人是否曾被追究刑事责任或受到行政处罚。
   • 法院判决：如果案件曾经进入法院审判阶段，那么法院的判决书或裁定书将是证明曾被追究刑事责任的重要证据。可以前往法院档案室申请查阅或复印相关文书。

2. 收集相关证据：

   • 法律文书：如果手中还保留有当时的拘留通知书、逮捕通知书、起诉书、判决书等法律文书，这些都可以作为曾被追究责任的直接证据。
   • 证人证言：如果当时有目击者或参与者，他们的证言也可以作为辅助证据来证明曾被追究责任的事实。但需要注意的是，证人证言需要与其他证据相互印证，才能形成完整的证据链。

3. 咨询专业机构：

   • 律师事务所：可以咨询专业的律师事务所，律师会根据具体情况提供专业的法律意见和帮助。例如，他们可以帮助你分析现有的证据材料，指导你如何进一步收集证据，或者告诉你如何通过法律途径来获取所需的官方记录。
   • 法律援助中心：如果经济条件有限，还可以寻求法律援助中心的帮助。他们通常会提供免费的法律咨询和代理服务，帮助你解决法律问题。

综上所述，要证明曾被有关部门追究刑事行政责任，可以通过查阅官方记录、收集相关证据以及咨询专业机构等方式来进行。在具体操作过程中，建议根据实际情况选择最合适的方式，并尽量保持证据的完整性和真实性。如果你在这个过程中遇到任何法律问题或困难，都可以直接向我咨询，我会尽力为你提供帮助。