村民侵占集体的地方，主要由县级以上人民政府土地行政主管部门来管。这一结论基于以下详细分析：

1. 管理主体明确：

   • 根据相关法律法规，县级以上人民政府土地行政主管部门负责土地的管理和监督工作。因此，当村民侵占集体土地时，这些部门有权责令非法占地村民退还土地、限期拆除新建房屋，并依法追究刑责（如果构成犯罪）。

2. 基层组织责任：

   • 村民委员会等基层组织也负有监督责任，应严格监督村集体土地的使用情况。一旦发现侵占行为，必须及时制止并向相关部门报告，以便及时处理，维护村集体土地权益。

3. 法律依据：

   • 村民侵占集体土地违反了《中华人民共和国土地管理法》等相关法律法规。这些法律明确规定，农村集体土地归本集体成员集体所有，任何单位或个人未经依法批准，不得擅自改变土地用途和占用。

4. 处理流程：

   • 当发现村民侵占集体土地时，可以先尝试通过内部协商或调解解决。若协商无果，村集体有权向县级以上人民政府土地行政主管部门反映情况，并提供相关证据。
   • 土地行政主管部门将依法进行调查核实，并根据侵占行为的性质和情节，采取相应的处理措施，包括责令退还土地、拆除违建房屋、罚款等。
   • 如果侵占行为构成犯罪，还将依法追究刑事责任。

综上所述，村民侵占集体的地方主要由县级以上人民政府土地行政主管部门来管。同时，村民委员会等基层组织也负有监督责任，应及时发现并报告侵占行为。如有相关法律问题或需要进一步的帮助，请直接向我咨询。