一般情况下，如果没有行政处罚决定书，是难以直接起诉行政行为无效的。但这个问题也存在一定的特殊情况，以下是对此问题的详细分析：

1. 行政处罚决定书的重要性：

   • 行政处罚决定书是行政机关作出行政处罚决定的书面凭证，包含了行政处罚的依据、内容、当事人的基本信息等重要内容。
   • 起诉行政行为需要有明确的被诉行政行为以及相关的证据支持，行政处罚决定书是证明行政机关作出行政处罚行为的关键证据之一。

2. 没有行政处罚决定书的情况：

   • 如果没有行政处罚决定书，可能难以确定行政机关的具体行政行为及其合法性，从而给起诉带来困难。
   • 但在某些特殊情况下，如行政机关虽未出具书面决定书，但存在其他可证明行政处罚行为的证据，且符合起诉条件的，也可能进行起诉。

3. 法律依据：

   • 根据《中华人民共和国行政诉讼法》第四十六条，公民、法人或者其他组织直接向人民法院提起诉讼的，应当自知道或者应当知道作出行政行为之日起六个月内提出。这意味着，即使没有行政处罚决定书，但如果公民在知道或应知行政行为之日起六个月内向法院起诉，并提供了其他相关证据，法院仍可能受理。

4. 特殊情况的考量：

   • 如果行政机关的行政处罚行为是以其他形式（如口头通知、电子邮件等）告知当事人的，并且这些形式能够证明行政机关确实作出了行政处罚决定，那么当事人仍然可以依据这些证据向法院提起诉讼。
   • 另外，如果行政机关的行政处罚行为严重违反了法定程序或者明显缺乏事实依据和法律依据，即使没有行政处罚决定书，当事人也可以向法院提起诉讼，要求确认行政行为无效。

综上所述，虽然行政处罚决定书是起诉行政行为无效的重要证据之一，但在某些特殊情况下，即使没有行政处罚决定书，当事人仍然可以向法院提起诉讼。如果你面临这样的情况，建议尽快收集其他相关证据，并咨询专业律师以获取更具体的法律建议。