执法部门在实施罚款时，确实有义务提供罚款发票或相关合法凭证，这是其法定职责之一。以下从多个角度详细解释这一结论：

1. 法律依据
   根据《中华人民共和国行政处罚法》第五十九条，行政机关实施行政处罚时，应当出具符合法定格式的处罚决定书，并明确载明罚款金额、缴纳方式、期限等关键信息。虽然法律未直接使用“发票”一词，但处罚决定书本身即具有法定效力，可视为合法凭证。若当事人需要更正式的财务票据（如财政部门统一印制的罚款收据），执法部门也应依法提供，否则可能涉嫌程序违法。

2. 程序合法性要求
   罚款作为行政处罚的一种，必须遵循“程序正当”原则。提供合法凭证是保障当事人知情权、复议权和诉讼权的重要环节。若执法部门拒绝提供，当事人可依据《行政处罚法》第七十五条，以“程序违法”为由申请行政复议或提起行政诉讼，要求撤销处罚决定。

3. 财务监管与透明度
   罚款收入需纳入财政预算管理，执法部门必须使用财政部门统一监制的票据（如《非税收入一般缴款书》）。这不仅是对国家财政制度的遵守，也是防止乱罚款、私设“小金库”的监管要求。若执法部门以“内部票据”“便条”等替代，可能涉嫌财务违规。

4. 实践中的注意事项

   • 票据类型：常见合法凭证包括处罚决定书、财政部门印制的罚款收据、电子缴款凭证等。
     
   • 异议处理：若当事人对票据真实性或金额有疑问，可要求执法部门出示执法证件、核对处罚依据，或向财政、审计部门举报。
     
   • 救济途径：若执法部门拒不提供凭证，当事人可当场拒绝缴纳罚款，并向上级行政机关或监察机关投诉。

总结：执法部门有义务提供合法、规范的罚款凭证，这是其履行行政职责的底线要求。若您遇到此类问题，可直接向我咨询具体应对措施，我会结合您的具体情况进一步分析。