行政处罚本身不涉及开具发票的问题，但若行政处罚涉及罚款等财产性处罚且需要缴纳时，不提供合法收据或凭证则属于违法行为。以下从不同角度进行分析：

1. 行政处罚的性质与发票的关系
   行政处罚是行政机关对违法行为人作出的制裁性决定，其核心目的是纠正违法行为、维护公共秩序。常见的行政处罚包括警告、罚款、没收违法所得、责令停产停业等。其中，罚款属于财产性处罚，需由违法行为人向行政机关缴纳一定金额的款项。
   发票是经济活动中由销售方或服务提供方向购买方开具的凭证，用于证明交易的发生和金额。而行政处罚中的罚款并非“交易行为”，因此行政机关通常不会开具“发票”，但会提供合法收据或财政专用票据作为缴费凭证。

2. 行政机关收取罚款的法定要求
   根据《中华人民共和国行政处罚法》第六十七条，行政机关作出罚款决定后，当事人应当自收到决定书之日起十五日内到指定银行或通过电子支付系统缴纳罚款。银行在收受罚款后，应将罚款直接上缴国库，并向当事人开具省级财政部门统一制发的罚款收据。
   若行政机关直接收取罚款（如当场收缴的情形），必须向当事人出具财政部或省级财政部门统一制发的专用票据。若未提供合法凭证，当事人有权拒绝缴纳，并可向相关部门投诉或申请行政复议。

3. 不提供合法凭证的法律后果
   若行政机关在收取罚款时未提供合法收据或票据，可能构成以下违法情形：

   • 违反财政法规：行政机关的罚款收入需纳入国库管理，未提供合法凭证可能导致资金流向不明，违反《财政违法行为处罚处分条例》。
     
   • 侵害当事人权益：当事人无法凭合法凭证证明已履行缴费义务，可能影响其后续维权（如申请信用修复、行政复议或诉讼）。
     
   • 程序违法：行政处罚需遵循法定程序，未提供缴费凭证可能被认定为程序瑕疵，导致处罚决定被撤销或确认违法。

4. 当事人的救济途径
   若遇到行政机关未提供合法缴费凭证的情况，当事人可采取以下措施：

   • 当场拒绝缴纳：要求行政机关出示合法票据后再缴费。
     
   • 投诉举报：向财政部门、监察机关或上级行政机关举报行政机关的违法行为。
     
   • 申请行政复议或诉讼：以程序违法为由，请求撤销或变更行政处罚决定。

总结：行政处罚本身不涉及发票问题，但罚款需通过合法凭证（如财政专用票据）证明缴纳。若行政机关未提供凭证，属于违法行为，当事人有权拒绝缴费并通过法律途径维权。如有具体案件或细节需要进一步分析，可直接向我咨询。