财政部门行政处罚案件确实存在延期的规定。具体来说：

1. 延期听证：在财政部门行政处罚案件中，如果当事人要求听证，并且符合相关条件，听证是可以延期的。比如，当事人有正当理由未能按时参加听证，或者需要调取新的证据等，都可以向财政部门申请延期听证。财政部门会根据具体情况，决定是否准许延期。

2. 延期缴纳罚款：在某些特定情况下，当事人如果确实存在经济困难，无法按时缴纳罚款，也可以向财政部门申请延期缴纳。财政部门会依据相关法律法规，对当事人的申请进行审核，并作出是否准许延期的决定。

3. 其他延期情形：除了上述两种常见的延期情形外，还有一些其他可能导致行政处罚案件延期的情况。比如，案件涉及复杂的法律问题，需要更多时间进行调查和审理；或者当事人提出了行政复议或行政诉讼，导致案件处理流程暂停等。

总之，财政部门行政处罚案件的延期规定是灵活且多样的，具体延期与否以及延期的期限，都需要根据案件的具体情况和相关法律法规来决定。如果你在这方面有具体的法律问题或疑虑，可以直接向我咨询，我会根据你的具体情况给出更详细的解答。