结论：是否可以将剩余的钱不返还给对方，取决于你们之间的约定性质以及该约定是否符合法律规定。若约定合法且明确剩余款项归你所有，则可以不返还；若约定违法或不明确，则可能需要返还。
分析过程
约定性质：
- 你们之间的“多退少补”约定，本质上是一个关于事故赔偿后款项处理的协议。这个协议是否合法有效，首先要看其是否违反了法律的强制性规定或公序良俗。
- 如果该约定是双方真实意思的表示，且没有违反法律、行政法规的强制性规定，也没有违背公序良俗，那么这个约定就是合法有效的。
约定内容：
- “多退少补”这一表述本身比较模糊，没有明确指出剩余款项的处理方式。如果当时你们明确约定了剩余款项归你所有，那么你就有权不返还。
- 但如果约定不明确，或者只是口头上的“多退少补”而没有具体说明剩余款项的处理，那么从法律上讲，这部分剩余款项可能应当视为不当得利，你应当返还给对方。
法律后果：
- 如果约定合法且明确剩余款项归你所有，你不返还剩余款项是合法的，不会承担法律责任。
- 如果约定违法或不明确，你不返还剩余款项可能构成不当得利，对方有权要求你返还。如果拒绝返还，对方可能会通过法律途径追讨，甚至可能对你提起诉讼。
建议
- 回顾约定：首先回顾一下你们当时的约定，看是否有明确说明剩余款项的处理方式。
- 协商解决：如果约定不明确，建议与对方进行协商，看能否达成一个双方都能接受的解决方案。
- 法律途径：如果协商无果，且你认为自己有权不返还剩余款项，而对方坚持要求返还，那么你可以考虑通过法律途径解决争议。但在此之前，建议你咨询专业律师，了解自己的法律权利和义务。
总结：在处理这类问题时，最重要的是要明确双方之间的约定，并确保该约定合法有效。如果约定不明确或存在争议，建议通过协商或法律途径解决。如果你有任何疑问或需要进一步的法律帮助，可以直接向我咨询。