行政行为被确认无效后，确实自始至终都不发生法律效力。以下是对这一结论的详细解释：
无效行政行为的定义：
- 无效行政行为，是指由行政机关作出的重大且明显违法，自始就没有法律效力的行政行为。这意味着，该行为从作出之日起就没有任何法律效力，如同从未存在过一样。
无效行政行为的法律后果：
- 自始无效：无效的行政行为自始不发生法律效力，当事人不受该行为拘束，不履行该行为确定的任何义务，并且对此种不履行不承担法律责任。
- 权益恢复：有权国家机关可在任何时候宣布相应行政行为无效，而不受时效的限制。同时，被确认为无效的行政行为，其造成的利益损害应由有关机关负责处理或赔偿。
- 已执行的可撤销与赔偿：如果该无效行政行为已被执行，则应当通过法定程序予以撤销，使其失去效力；对于因该行为导致的损失，应当依法给予赔偿。
行政行为无效的情形：
- 主体无资格：作出行政行为的主体不具备相应的行政职权或法律资格。
- 超越权限：行政主体超出法律、法规规定的职权范围。
- 内容客观上不可能实施：行政行为设定的权利义务在现实中无法实现。
- 内容明显违背公序良俗：行政行为严重违反公共秩序和善良风俗。
- 程序严重违法且无法补救：行政行为的作出违反了法定程序，且无法通过后续补救措施纠正。
- 其他重大且明显违法的情形：包括明显滥用职权、存在明显的违法意图等。
综上所述，行政行为被确认无效后，确实自始至终都不发生法律效力。这一结论是基于无效行政行为的定义、法律后果以及无效情形的综合考量。如果您在实际生活中遇到相关问题，可以直接向我咨询，我会为您提供专业的法律意见和帮助。