结论前置：如果你与对方私下协商定损一万并同意更换车门，但最终未更换车门，那么剩下的钱是否需要归还对方，主要取决于你们之间的约定和实际情况。如果双方没有明确约定未更换车门时的处理方式，一般需要基于公平原则进行协商处理。

详细分析：

1. 合同约定情况：

   • 如果你们之间有书面或口头的明确约定，比如“如果车门不需要更换，则剩余款项不退还”或“车门未更换，应退还剩余款项”，那么应按照约定执行。
   • 如果没有明确约定，则需要双方进一步协商，以确定剩余款项的处理方式。

2. 公平原则：

   • 从公平原则出发，如果你未按照原定计划更换车门，而对方因此遭受了损失或不便，那么退还部分或全部剩余款项可能是合理的。
   • 另一方面，如果你认为车门实际上并不需要更换，或者更换车门会带来额外的费用或麻烦，你也可以提出你的理由，与对方协商不退还或只退还部分款项。

3. 法律建议：

   • 在这种情况下，建议你们首先尝试通过友好协商来解决问题。
   • 如果协商不成，可以考虑寻求第三方的帮助，比如调解机构或专业律师，来协助你们达成一个公平合理的解决方案。

总结：

因此，剩下的钱是否需要归还对方，并没有一个固定的答案。它取决于你们之间的约定、实际情况以及公平原则。建议你与对方进行坦诚的沟通，共同协商一个双方都能接受的解决方案。如果你在这个过程中遇到任何法律问题或需要进一步的法律建议，可以直接向我咨询。