在回复举报人时，行政部门是否需要提供证据，这主要取决于举报的具体内容、性质以及行政部门的调查结果，不能一概而论。以下从几个不同角度进行分析：
举报内容涉及违法违规行为，且行政部门已展开调查：
- 在这种情况下，如果行政部门经过调查确认了举报内容的真实性，那么在回复举报人时，通常不需要直接提供详细的证据材料，但可以告知举报人调查结果和结论。
- 如果举报人要求提供证据以支持行政部门的结论，行政部门可以根据相关法律法规和内部规定，决定是否向举报人展示部分或全部证据。这通常涉及到证据的保密性、公开性以及是否涉及第三方权益等问题。
举报内容不实或无法证实：
- 如果行政部门经过调查发现举报内容不实或无法证实，那么在回复举报人时，应当明确告知举报人调查结果，并说明无法证实的原因。
- 在这种情况下，行政部门通常不需要向举报人提供证据，因为举报内容本身就不成立。但行政部门可以保留调查过程中收集的相关资料，以备后续需要。
举报内容涉及复杂案件或需要进一步调查：
- 对于一些复杂案件或需要进一步调查的举报，行政部门在回复举报人时可能无法给出明确的结论。
- 在这种情况下，行政部门可以告知举报人案件正在调查中，并说明调查进展和预计完成时间。同时，行政部门也可以根据举报人的要求，提供一定程度的调查进展信息，但通常不会直接提供证据材料。
法律背景与建议：
- 法律背景：根据《中华人民共和国政府信息公开条例》等相关法律法规，行政部门在履行职责过程中制作或者获取的，以一定形式记录、保存的信息，应当按照规定的程序和要求进行公开。但同时，也规定了涉及国家秘密、商业秘密、个人隐私等敏感信息不得公开。
- 建议：作为举报人，如果您对行政部门的回复有疑问或认为需要更多信息，可以依法向行政部门提出信息公开申请。行政部门在收到申请后，会根据相关法律法规和内部规定进行审查，并决定是否公开相关信息。如果您对行政部门的决定不服，还可以依法申请行政复议或提起行政诉讼。
可能法律后果：
- 如果行政部门在回复举报人时未依法履行信息公开义务，或者违反了相关法律法规的规定，可能会面临法律责任和行政处罚。
- 作为举报人，如果您滥用举报权利或提供虚假信息，也可能会承担相应的法律责任。
总结与进一步思考：
- 行政部门在回复举报人时是否需要提供证据，取决于举报的具体内容、性质以及行政部门的调查结果。
- 作为举报人，您有权依法了解举报事项的调查进展和结果，但也需要尊重行政部门的调查程序和保密要求。
- 如果您对行政部门的回复有疑问或需要更多信息，可以依法提出信息公开申请或寻求法律帮助。
如有任何法律疑问或需要进一步的法律咨询，请直接向我提问。