结论：在处理被侵占的案涉土地上有建筑物应如何判决退还村委会的问题时，需综合考虑土地权属、建筑物性质、侵占事实及法律规定等多方面因素。以下是从不同角度进行的详细分析：
一、土地权属与建筑物性质
土地权属确认：
- 首先，需确认案涉土地是否确实属于村委会所有或管理。这通常通过查阅土地登记资料、土地使用证、相关政府文件或历史档案等证据来确认。
- 若土地权属存在争议，应先通过行政程序或诉讼程序解决权属问题，再行处理侵占及建筑物问题。
建筑物性质分析：
- 分析建筑物是否合法建造，即是否取得了相应的建设规划许可、施工许可等手续。
- 若建筑物为违法建筑，根据《城乡规划法》等相关法律规定，可能面临拆除、罚款等处罚。
- 若建筑物为合法建筑，则需进一步考虑其与土地权属的关系，以及是否存在租赁、借用等法律关系。
二、侵占事实与法律责任
侵占事实认定：
- 收集证据证明土地被侵占的事实，包括现场照片、视频、证人证言、侵占行为发生的时间、方式等。
- 确认侵占行为是否持续存在，以及侵占者是否对土地进行了实质性的使用或改造。
法律责任承担：
- 根据《民法典》等相关法律规定，侵占他人土地的，应承担返还土地、赔偿损失等民事责任。
- 若侵占行为构成犯罪，如非法占用农用地罪等，还需承担刑事责任。
三、判决退还村委会的具体方式
返还土地与建筑物：
- 若建筑物为合法建筑且与土地权属无争议，判决侵占者返还土地及建筑物给村委会。
- 若建筑物为违法建筑，判决拆除违法建筑并返还土地给村委会。
赔偿损失：
- 若侵占行为给村委会造成了经济损失，如土地租金损失、建筑物价值损失等，判决侵占者赔偿相应损失。
执行措施：
- 判决生效后，若侵占者拒不履行判决义务，村委会可向法院申请强制执行。
- 法院可采取查封、扣押、拍卖等措施强制执行判决内容。
四、特殊情况处理
历史遗留问题：
- 若土地侵占行为存在历史遗留问题，如长期占用、多次转手等，需综合考虑历史背景、政策变化等因素进行妥善处理。
- 可寻求政府部门的协助或调解，以达成双方都能接受的解决方案。
多方利益平衡：
- 在处理过程中，需平衡村委会、侵占者及可能存在的其他利益相关方的利益。
- 鼓励通过协商、调解等方式解决争议，以减少社会矛盾和冲突。
建议：在处理此类案件时，村委会应积极收集证据、明确诉求，并咨询专业律师以制定合适的诉讼策略。同时，也应保持理性与克制，通过合法途径维护自身权益。若你有具体的法律问题或需要进一步的法律帮助，可以直接向我咨询。