结论：土地被村民非法占用多年现已退还，是否可以追究其赔偿，需根据具体情况判断。若因非法占用行为给您造成了实际损失，您有权要求赔偿；若未造成实际损失或损失难以证明，则可能难以获得赔偿。以下从不同角度为您详细分析：
一、非法占用土地的法律性质
非法占用土地，即未经合法批准或未按照批准的用途、范围、期限等使用土地的行为，属于违法行为。根据《中华人民共和国土地管理法》等相关法律法规，非法占用土地的行为可能面临行政处罚，如责令退还非法占用的土地、限期拆除在非法占用的土地上新建的建筑物和其他设施、恢复土地原状，以及罚款等。
二、赔偿的法律依据与条件
实际损失的存在：
- 若非法占用土地的行为给您造成了实际损失，如土地收益的减少、土地改良费用的损失、因土地被占用而产生的其他直接经济损失等，您有权要求非法占用者进行赔偿。
- 赔偿的范围应限于实际损失，且需有充分的证据证明损失的存在及其与非法占用行为的因果关系。
赔偿请求的时效性：
- 根据《中华人民共和国民法典》等相关法律法规，向人民法院请求保护民事权利的诉讼时效期间为三年。自权利人知道或者应当知道权利受到损害以及义务人之日起计算。
- 若您发现土地被非法占用后，未在法定期限内主张权利，可能面临诉讼时效届满的风险，从而影响赔偿请求的实现。
三、赔偿的途径与程序
协商调解：
- 在发现土地被非法占用后，您可以首先尝试与非法占用者进行协商，寻求和解或调解的方式解决纠纷。
- 协商调解具有灵活性和高效性，有助于快速恢复土地的正常使用，并可能达成双方都能接受的赔偿方案。
行政投诉：
- 若协商调解无果，您可以向当地土地管理部门或相关行政机关进行投诉，要求其对非法占用土地的行为进行查处，并协助您追回损失。
- 行政机关在查处过程中，可能会对非法占用者进行行政处罚，并责令其赔偿您的损失。
司法诉讼：
- 若行政投诉未能解决问题，或者您对行政机关的处理结果不满意，您可以向人民法院提起民事诉讼，要求非法占用者赔偿您的损失。
- 在诉讼过程中，您需要提供充分的证据证明非法占用行为的存在、损失的大小以及损失与非法占用行为的因果关系。
四、特殊情况下的考虑
土地权属的明确性：
- 在追究赔偿前，您需要确保自己对土地拥有合法的权属证明，如土地使用权证、土地承包经营权证等。
- 若土地权属存在争议或不明确，可能影响赔偿请求的实现。
非法占用者的身份与行为性质：
- 若非法占用者是村民个人，且其行为属于个人行为，则赔偿请求应直接针对该个人。
- 若非法占用行为涉及集体或组织，如村民委员会、村民小组等，则可能需要考虑集体或组织的责任承担问题。
建议：在处理此类纠纷时，建议您首先收集并保存好相关证据，如土地权属证明、非法占用行为的证据、损失证明等。同时，您可以咨询专业律师（即我本人，孙侠律师，专注于经济纠纷、拆迁安置、房产纠纷、合同纠纷、房屋买卖领域），以获取更具体的法律建议和指导。