结论：在政府采购中，如果合同已经签订但尚未履行，财政部门在发现违法行为时，确实有权采取暂停措施。

详细分析：

1. 法律依据：

   • 根据《中华人民共和国政府采购法》的相关规定，财政部门作为政府采购的监督管理部门，有权对政府采购活动进行监督检查，并对违法行为进行查处。在发现违法行为时，财政部门可以采取一系列措施，包括暂停采购活动，以确保政府采购的合法性和公正性。

2. 暂停措施的适用性：

   • 当财政部门发现政府采购合同签订后但尚未履行，且存在违法行为时，为了防止违法行为的进一步扩大或造成更大的损失，财政部门有权决定暂停该合同的履行。这种暂停措施是临时性的，旨在为财政部门提供足够的时间来调查违法行为，并作出相应的处理决定。

3. 暂停措施的实施程序：

   • 财政部门在决定暂停政府采购合同履行时，应当遵循法定的程序。这通常包括通知采购人、供应商等相关方，并说明暂停的原因和期限。同时，财政部门还应当尽快完成对违法行为的调查，并根据调查结果作出相应的处理决定，如撤销合同、罚款等。

4. 相关方的权益保障：

   • 在暂停措施实施期间，采购人和供应商等相关方的权益应当得到保障。如果暂停措施导致相关方遭受损失，且该损失是由于财政部门的违法行为或不当决定造成的，那么相关方有权依法要求赔偿。

5. 后续处理：

   • 财政部门在完成对违法行为的调查后，应当根据调查结果作出相应的处理决定。如果确认存在违法行为，财政部门可以依法撤销合同、罚款或采取其他法律措施。同时，财政部门还应当加强对政府采购活动的监管，防止类似违法行为的再次发生。

建议：

• 对于采购人而言，在签订政府采购合同前，应当严格审查供应商的资质和信誉，确保合同的合法性和有效性。同时，在合同履行过程中，应当密切关注财政部门的监督检查，及时配合财政部门的工作，确保政府采购活动的顺利进行。
• 对于供应商而言，在参与政府采购活动时，应当遵守相关法律法规和规章制度，确保提供的产品和服务符合合同要求。如果遇到财政部门暂停合同履行的情况，应当积极配合财政部门的调查工作，并依法维护自己的合法权益。

如果您在政府采购领域遇到任何法律问题或需要进一步的法律咨询，请直接向我提问，我会根据您的具体情况提供详细的法律解答和建议。