非法占用村集体土地确实存在时间上的限制，主要体现在行政处罚的时效性和土地权利恢复的期限上。以下从这两个方面为你详细分析：

一、行政处罚的时效性

根据《行政处罚法》的相关规定，行政机关对违法行为进行查处时，通常需要在一定的期限内发现并处理。虽然直接针对非法占用村集体土地的具体时效规定可能并未在《行政处罚法》中明确提及，但一般行政违法行为的查处时效为二年。这意味着，如果非法占用村集体土地的行为被发现时已经超过了二年，且没有持续状态或新发生的违法行为，行政机关可能不再对此进行处罚。然而，如果非法占用行为处于持续状态，即土地一直被非法占用，那么行政机关可以随时进行查处，不受二年时效的限制。

二、土地权利恢复的期限

非法占用村集体土地不仅涉及行政处罚，还关乎土地权利的恢复。根据《土地管理法》的规定，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地。这意味着，无论非法占用行为已经持续了多久，土地权利人（即村集体）都有权要求非法占用人退还土地。土地权利的恢复并不受时间限制，只要非法占用行为存在，村集体就可以随时要求恢复土地原状。

三、特殊情况下的考虑

1. 历史遗留问题：在某些情况下，非法占用村集体土地的行为可能由于历史原因而长期存在。对于这类问题，需要综合考虑历史背景、土地现状以及相关法律法规的变化，以寻求合理的解决方案。
2. 土地利用规划：如果非法占用的土地已经纳入土地利用规划，且符合规划用途，那么可能需要通过土地征收、流转等合法方式来变更土地用途，而不是简单地要求退还土地。

四、法律建议

1. 对于非法占用人：如果你非法占用了村集体土地，建议尽快与村集体协商，寻求合法的土地使用方式，如租赁、承包等，以避免可能的法律风险和行政处罚。
2. 对于村集体：如果发现有人非法占用你的土地，建议及时与非法占用人沟通，要求其退还土地。如果沟通无果，可以向县级以上人民政府自然资源主管部门举报，由相关部门进行查处。

总之，非法占用村集体土地在时间上主要受到行政处罚时效性和土地权利恢复期限的限制。但无论何时，非法占用行为都是不合法的，应当尽快纠正。如果你有任何关于房产纠纷或土地问题的疑问，可以直接向我咨询。