行政处罚并不都是当场处罚，这取决于具体的违法情形和行政处罚的种类。以下从不同角度为你详细分析：

一、当场处罚的情形

根据《中华人民共和国行政处罚法》的相关规定，对于违法事实确凿并有法定依据，对公民处以二百元以下、对法人或者其他组织处以三千元以下罚款或者警告的行政处罚的，可以当场作出行政处罚决定。这种当场处罚，通常被称为“简易程序”，它适用于一些轻微的、事实清楚的违法行为，旨在提高行政效率，快速处理案件。

例子：比如，你在公共场所随地吐痰，被城管执法人员当场发现，且该行为违反了当地的市容环境卫生管理规定，执法人员可以当场对你处以警告或者一定数额的罚款。

二、非当场处罚的情形

对于一些较为严重的违法行为，或者需要进一步调查取证的案件，行政机关就不能当场作出行政处罚决定。这种情况下，行政机关需要按照一般程序进行调查、取证、审查，并在作出处罚决定前告知当事人有陈述、申辩的权利，甚至可能需要举行听证会。这种程序相对复杂，耗时较长，但更能保障当事人的合法权益。

例子：比如，你因涉嫌酒后驾车被交警查获，交警不能当场对你作出吊销驾驶证或者更严重的处罚决定。他们需要对你进行血液酒精含量检测，收集相关证据，然后根据检测结果和法律规定，再作出相应的处罚决定。

三、特殊程序

除了简易程序和一般程序外，还有一些特殊的行政处罚程序，如听证程序、集体讨论决定程序等。这些程序通常适用于一些重大、复杂的案件，或者涉及当事人重大权益的处罚决定。

听证程序：比如，在你可能面临较大数额罚款、吊销许可证等较重处罚时，行政机关在作出处罚决定前，应当告知你有要求举行听证的权利。如果你要求听证，行政机关就需要组织听证会，听取你的陈述和申辩。

集体讨论决定程序：对于一些情节复杂或者重大违法行为给予行政处罚的，行政机关的负责人应当集体讨论决定。这旨在确保处罚决定的公正性和合理性。

综上所述，行政处罚并不都是当场处罚，而是根据违法行为的性质、情节以及行政处罚的种类等因素来决定的。如果你对行政处罚有任何疑问或者需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况为你提供专业的法律意见。