结论：针对您提出的“村里除村书记不想留此人，但是其余村干部都留下此人在村里上班”的问题，这主要涉及到村干部的任免及村内事务管理的问题，并非直接的房产或土地法律问题。不过，我可以从法律角度为您分析这一情况，并给出一些建议。
分析角度一：村干部任免的法律依据
村干部任免程序：
- 村干部的任免通常遵循《中华人民共和国村民委员会组织法》等相关法律法规。根据这些法律，村民委员会成员（包括村书记和其他村干部）的选举、罢免等应由村民会议或村民代表会议决定。
- 如果村书记或任何其他村干部想要罢免或留任某位村干部，必须按照法定程序进行，不能仅凭个人意愿决定。
多数决原则：
- 在村干部任免等村内事务上，通常遵循多数决原则。即，如果多数村民或村民代表同意留任某位村干部，那么该决定应被尊重并执行。
分析角度二：针对您描述的具体情况
村书记的个人意愿：
- 村书记作为村民委员会的一员，其个人意愿不能单独决定村干部的任免。如果村书记不想留任某人，但其他村干部和村民或村民代表会议多数同意留任，那么应尊重多数意见。
其他村干部的意见：
- 如果其余村干部都同意留任某人在村里上班，这表明在村干部内部存在多数意见支持留任。这种情况下，应进一步考虑村民或村民代表会议的意见。
村民或村民代表会议的意见：
- 最终决定权在村民或村民代表会议。如果村民或村民代表会议多数同意留任该人，那么即使村书记反对，也应尊重多数意见。
建议：
召开村民或村民代表会议：
- 建议召开村民或村民代表会议，就留任或罢免该人的问题进行讨论和表决。这样可以确保决策的合法性和民主性。
遵循法定程序：
- 在任免村干部时，必须严格遵循法定程序，确保程序的公正性和透明性。避免个人意愿或少数意见凌驾于多数意见之上。
寻求法律帮助：
- 如果在任免过程中遇到法律问题或争议，建议及时寻求法律帮助。可以咨询当地法律援助机构或律师，了解相关法律法规和程序要求。
可能法律后果：
- 如果村书记或其他村干部违反法定程序任免村干部，可能会面临法律责任。例如，被罢免的村干部可以依法提起诉讼，要求确认罢免决定无效或恢复其职务。
- 同时，违反法定程序任免村干部也可能影响村内的稳定和团结，损害村民的利益和信任。
如果您在房产或土地方面遇到任何法律问题，也可以直接向我咨询。我会根据您的具体情况，给出专业的法律意见和建议。