若遇到行政部门拒绝开具证明的情况，可通过以下方式收集和提供证据，证明行政部门未履行其职责：
书面申请及回执
首先，建议通过书面形式（如挂号信、电子邮件或行政机关指定的线上平台）向行政部门正式提出开具证明的申请。保留好申请的副本及寄送凭证（如邮寄回执、电子邮件发送记录等），这些材料可证明你已履行了申请程序。若行政部门收到申请后未予回复或明确拒绝，这些凭证将成为关键证据。
现场沟通记录
若申请是通过现场提交的，可要求行政部门出具书面回执或拒绝理由说明。若对方拒绝出具，可通过录音、录像或书面记录（如手写笔记并由在场第三方签字确认）的方式，固定现场沟通情况。需注意，录音录像需在合法合规的前提下进行，避免侵犯他人隐私或违反其他法律规定。
行政机关的公开承诺或规定
查询行政部门官方网站、公告栏或相关法律法规，确认其是否有义务开具你所申请的证明。若行政机关曾公开承诺或依据法律必须提供某类证明，可截图或复印相关文件作为证据，证明其未履行法定或承诺的职责。
投诉或复议材料
若行政部门仍拒绝开具证明，可向其上级机关或同级政府提出投诉，或依法申请行政复议。在投诉或复议过程中提交的申请材料、回执、沟通记录等，均可作为证明行政部门未履职的证据。复议机关或上级机关的调查结论，也可进一步佐证你的主张。
证人证言
若现场沟通时有第三方在场（如其他办事群众、行政机关工作人员等），可请其出具书面证言或出庭作证，证明行政部门拒绝开具证明的事实。证人需具备完全民事行为能力，且证言内容需真实、客观。
行动建议：
若需进一步分析具体证据的效力或操作细节，可提供更多背景信息，我将为你详细解答。