财政部门发现政府采购活动存在犯罪行为时，应当立即将案件移送司法机关处理，并配合调查，同时根据情况采取相应的行政措施。以下是具体分析：

1. 移送司法机关
   根据《中华人民共和国政府采购法》第七十条，财政部门在履行监督管理职责中，发现政府采购当事人有违法行为的，应当依法给予处理、处罚；若发现违法行为涉嫌犯罪的，应当及时将案件移送司法机关处理。这是财政部门的核心法定义务，旨在确保刑事犯罪行为由专业司法机关依法追究刑事责任。

2. 配合司法调查
   财政部门需配合公安机关、检察机关的调查工作，包括但不限于：

   • 提供采购活动中的相关文件、记录、监控资料等证据材料；
     
   • 协助调查人员询问相关人员或调取数据；
     
   • 对涉嫌犯罪的采购项目暂停执行或终止合同（若符合《政府采购法》第三十六条、第三十七条的法定情形）。

3. 行政处理与追责
   在移送案件的同时，财政部门仍需对采购活动中的违法行为进行行政处理，例如：

   • 对供应商：列入不良行为记录名单，处以罚款、没收违法所得，甚至禁止其1至3年内参加政府采购活动；
     
   • 对采购人或代理机构：责令改正，给予警告或罚款，对直接负责的主管人员和其他责任人员依法给予处分；
     
   • 若涉及国家利益或公共利益受损，可依法追偿损失。

4. 内部监督与整改
   财政部门需对自身监管漏洞进行排查，例如：

   • 检查采购流程是否符合《政府采购法》及实施条例的合规性要求；
     
   • 完善内部监督机制，加强对采购文件审查、评标过程监控等环节的管理；
     
   • 对相关工作人员进行培训，强化法律意识和风险防控能力。

温馨提示：若您是财政部门工作人员或采购活动相关方，遇到此类问题需谨慎处理，建议结合具体案情（如涉嫌罪名、涉案金额、主体身份等）进一步分析。如有疑问，可直接向我咨询，我会结合实务经验为您提供详细解答。