可以直接起诉，但需满足一定条件并遵循法定程序。具体分析如下：

1. 当场作出的行政处罚决定性质
   根据《行政处罚法》第五十一条，税务机关对违法事实确凿并有法定依据，且符合当场处罚条件（如罚款数额较小、情节简单）的，可当场作出行政处罚决定。此类决定属于具体行政行为，若相对人认为其侵犯合法权益，有权依法提起行政诉讼。

2. 起诉的法定条件

   • 主体资格：原告需是行政处罚的直接相对人（如被处罚的纳税人、扣缴义务人）。
     
   • 起诉期限：根据《行政诉讼法》第四十六条，直接起诉的期限为自知道或应当知道行政行为之日起6个月内。若先申请行政复议，对复议结果不服的，可在收到复议决定书之日起15日内起诉。
     
   • 管辖法院：一般由被告所在地（税务机关所在地）或行政行为发生地的基层人民法院管辖。

3. 特殊情形：复议前置的例外
   税务行政处罚通常无需复议前置，但若处罚涉及征税行为（如加收滞纳金、罚款与税款关联），则需先申请行政复议，对复议结果不服方可起诉（《税收征收管理法》第八十八条）。但当场处罚多为简易程序罚款（如个人200元以下、单位1000元以下），通常不涉及复议前置问题。

4. 实务建议

   • 证据固定：起诉前需保留处罚决定书、现场笔录等证据，证明税务机关程序合法性（如是否出示证件、说明理由）。
     
   • 程序合法性审查：若税务机关未依法告知救济权利（如起诉期限、管辖法院），可能构成程序违法，法院可撤销处罚决定。
     
   • 专业协助：税务行政诉讼涉及《税收征收管理法》《行政处罚法》等多部法律交叉，建议委托律师协助梳理事实、撰写诉状。

总结：当场作出的税务行政处罚决定可直接起诉，但需注意起诉期限、管辖法院及证据收集。若处罚涉及征税行为，则需先复议再诉讼。如有具体案件细节，可进一步向我咨询。