在违法占地案件中，即使土地所有权人与违法者达成了用地协议，违法者仍然需要退还土地。以下从多个角度进行分析：

1. 违法占地的法律性质：

   • 违法占地是指未经合法批准或者采取欺骗手段骗取批准，非法占用土地的行为。这种行为违反了土地管理法律法规，破坏了土地管理秩序，损害了国家、集体和个人的合法权益。
   • 根据《中华人民共和国土地管理法》等相关法律法规，违法占地行为是受到严格禁止的，并会受到相应的法律制裁。

2. 用地协议的法律效力：

   • 土地所有权人与违法者达成的用地协议，由于违法者本身不具备合法占用土地的资格，因此该协议从一开始就缺乏合法基础。
   • 此类协议往往违反了法律法规的强制性规定，如土地用途管制、土地审批程序等，因此属于无效合同。无效合同自始没有法律约束力，不能产生当事人预期的法律效果。

3. 退还土地的法律义务：

   • 既然用地协议无效，违法者就没有合法依据继续占用土地。土地所有权人有权要求违法者退还土地，恢复土地原状。
   • 如果违法者拒绝退还土地，土地所有权人可以向相关部门投诉举报，或者通过法律途径提起诉讼，要求违法者承担退还土地、赔偿损失等法律责任。

4. 可能的法律后果：

   • 违法者除了需要退还土地外，还可能面临行政处罚，如罚款、没收违法所得等。
   • 如果违法占地行为情节严重，构成犯罪的，违法者还可能被追究刑事责任，如非法占用农用地罪等。

建议：

• 对于土地所有权人而言，一旦发现违法占地行为，应及时采取措施制止，并保留好相关证据，以便后续维权。
• 对于违法者而言，应认识到违法占地的严重性和法律后果，主动退还土地，并积极配合相关部门进行整改，以减轻或避免法律责任。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。