无效的行政行为在诉讼时效上一般不受限制，但特殊情况下会存在一定考量。以下是对这一问题的详细分析：

一、无效行政行为的一般原则：不受诉讼时效限制

1. 无效行政行为的本质：无效行政行为是指那些具有重大且明显违法情形的行政行为，它们自始、当然、确定不发生法律效力。这一特性决定了无效行政行为与普通违法行政行为在法律效力上的根本区别。普通违法行为在被撤销前仍具法律效力，而无效行为则从一开始就无拘束力。

2. 不受诉讼时效限制的法理基础：

   • 对确认无效的诉讼设置时效限制，可能会使原本无效的行政行为因时间流逝而获得事实合法性，这与无效行政行为的本质相悖。
   • 不设时效限制能更好保护当事人合法权益，确保他们在发现行政行为无效后，随时通过诉讼维护自身权益。
   • 及时纠正严重违法的行政行为，维护法治尊严和权威，是确认行政行为无效制度的重要目的。不设诉讼时效有助于实现这一目标。

3. 法律依据：根据《最高人民法院关于适用〈中华人民共和国行政诉讼法〉的解释》的相关规定，公民、法人或者其他组织起诉请求确认行政行为无效，人民法院经审查认为行政行为无效的，应当作出确认无效的判决。此规定体现了对无效行政行为确认不受起诉期限限制的精神。

二、特殊情况下的时间考量因素

1. 司法资源合理利用与法律秩序稳定：尽管无效行政行为理论上可随时主张无效，但实践中，若行政行为作出后长时间未受挑战，且基于该行为已形成稳定的法律秩序和社会关系，法院会考虑司法资源的合理利用和对现有法律秩序的维护。例如，涉及不动产登记的行政行为，若多年后相关权利人主张登记无效，而期间已发生多次合法交易流转，法院需谨慎权衡。

2. 善意第三人信赖利益保护：当无效行政行为涉及善意第三人的信赖利益时，主张无效的时间会受到一定限制。如行政机关颁发的许可证存在重大违法，第三人基于信赖与该许可相关的行政相对人交易并支付合理对价，此时允许随意主张许可无效将损害善意第三人权益。法院可能要求主张无效的一方提供更充分理由和证据，或在保护善意第三人前提下审查无效主张。

三、实际操作中的建议

1. 及时主张权利：虽然无效行政行为不受一般诉讼时效的限制，但为了维护自身权益和避免不必要的法律纠纷，建议当事人在发现行政行为无效后，尽快通过法律途径主张权利。

2. 咨询专业律师：在处理涉及无效行政行为的法律问题时，由于情况复杂且涉及多方利益，建议当事人直接向我咨询，以便根据具体情况提供针对性的法律建议和帮助。

3. 准备充分证据：在提起确认无效之诉时，当事人需要准备充分的证据来证明行政行为的无效性。这包括行政行为的违法事实、相关法律法规的适用以及可能涉及的善意第三人情况等。

总结来说，无效的行政行为在诉讼时效上一般不受限制，但特殊情况下会存在一定考量。当事人在处理此类问题时，应及时主张权利、咨询专业律师并准备充分证据，以确保自身权益得到有效保护。