结论：公安机关办理行政案件时，即使被害人表示不追究对方责任，也不一定可以终止调查。是否终止调查需根据案件具体情况和法律规定来综合判断。
分析说明：
被害人意愿并非决定性因素：
- 在行政案件中，被害人的意愿虽然重要，但并非决定公安机关是否终止调查的唯一因素。公安机关在办理行政案件时，需依法履行职责，确保案件得到公正、全面的处理。
- 被害人表示不追究对方责任，可能出于多种原因，如和解、谅解或避免进一步纠纷等。然而，这并不意味着违法行为就不存在或不应受到处罚。
公安机关的职责与权限：
- 公安机关在办理行政案件时，有权对违法行为进行调查取证，并根据调查结果依法作出处理决定。
- 如果案件涉及违法行为，且证据确凿，公安机关应依法对违法行为人进行处罚，无论被害人是否表示追究。
终止调查的法定条件：
- 根据相关法律法规，公安机关在办理行政案件时，终止调查需满足一定条件，如案件事实不清、证据不足、违法行为轻微且已改正等。
- 被害人表示不追究对方责任，并不直接构成终止调查的法定条件。公安机关需综合评估案件情况，判断是否符合终止调查的条件。
法律建议：
- 对于被害人：如果您在行政案件中表示不追究对方责任，但公安机关仍继续调查，这可能是出于确保案件公正处理的考虑。您可以与公安机关沟通，了解调查进展和原因，并表达您的意愿和诉求。
- 对于违法行为人：如果您被涉及行政案件，且被害人表示不追究责任，这并不意味着您可以逃避法律责任。公安机关仍可能根据案件情况依法对您进行处罚。建议您积极配合调查，如实陈述事实，争取从轻或减轻处罚。
- 对于双方：在行政案件中，双方可以通过协商、调解等方式解决纠纷。如果达成和解或谅解，可以向公安机关提出申请，请求从轻或减轻处罚。但最终处理决定仍需由公安机关依法作出。
可能后果：
- 如果公安机关认为案件符合终止调查的条件，可能会决定终止调查，并告知双方当事人。
- 如果公安机关认为案件不符合终止调查的条件，将继续进行调查取证，并依法作出处理决定。这可能导致违法行为人受到行政处罚，如罚款、拘留等。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。