法院确认行政行为违法确实存在时间限制，这一限制主要体现在起诉期限上。以下是从不同角度对这一问题的详细分析：
一、直接起诉的时效规定
根据《中华人民共和国行政诉讼法》的相关规定，公民、法人或其他组织直接向人民法院提起诉讼，要求确认行政行为违法的，应当自知道或者应当知道作出行政行为之日起六个月内提出。这是行政诉讼时效的基本原则，旨在确保行政行为的稳定性和可预测性，同时保护当事人的合法权益。
二、经过复议后起诉的时效规定
如果公民、法人或其他组织对行政复议决定不服，认为复议决定维持了原行政行为或改变了原行政行为但仍然违法，可以在收到复议决定书之日起十五日内向人民法院提起诉讼。若复议机关逾期未作决定，申请人则可在复议期满之日起十五日内向法院提起诉讼。这一规定既保障了当事人的复议权利，也确保了复议与诉讼之间的衔接顺畅。
三、行政机关未告知诉权或起诉期限时的时效处理
当行政机关在作出具体行政行为时，未告知公民、法人或其他组织诉权或起诉期限的，起诉期限将从当事人知道或应当知道诉权或起诉期限之日起计算。但需要注意的是，从知道或应当知道具体行政行为内容之日起最长不得超过两年（不过，根据最新的司法实践及法律规定，更常见的处理方式是适用六个月的“知道或应当知道”标准，并辅以最长不超过一年的补充保护期，需注意此处的表述可能因具体法律修订或司法解释而有所调整）。这一规定旨在保护当事人的知情权，并避免因信息不对等而导致的权益受损。
四、不知道行政行为内容时的时效规定
对于公民、法人或其他组织不知道行政机关作出的行政行为内容的情形，其起诉期限将从知道或应当知道该行政行为内容之日起计算。同样地，涉及不动产的行政行为从作出之日起超过二十年、其他行政行为从作出之日起超过五年提起诉讼的，人民法院将不予受理。这一规定确保了行政行为的公开性和透明度，以及当事人对行政行为的及时知晓和应对。
五、特殊情况下的时效处理
不可抗力或其他不属于自身原因耽误起诉期限的情况：如果公民、法人或者其他组织因不可抗力或其他不属于其自身的原因耽误了起诉期限，在障碍消除后十日内，可以申请延长期限。是否准许由人民法院决定。这一规定体现了法律对人性化考量的重视，确保当事人在遇到不可预见、不可避免且无法克服的客观情况时，仍有机会维护自己的合法权益。
限制人身自由的情况：如果行政机关对公民实施了限制人身自由的行政强制措施，公民被释放后可以立即提起诉讼，不受上述六个月起诉期限的限制。这是因为限制人身自由是一种严重的行政行为，对公民的基本权利造成了直接影响，因此法律给予了更为宽松的起诉条件。
法律建议：当事人在考虑提起诉讼，要求确认行政行为违法时，务必仔细审查自己的起诉是否符合时效要求，并在规定的期限内采取行动以维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，可以直接向我咨询，以确保自身权益得到有效保障。