结论：是否需要把钱退回给对方，取决于您与对方之间就赔偿事宜达成的具体约定以及后续的处理情况。以下从不同角度进行分析：

1. 若双方有明确约定修复电动车：

   • 在这种情况下，对方支付160元是用于电动车的修复。如果您未进行修复，且没有合理的理由（如电动车已报废无法修复、修复费用远低于赔偿金额且双方同意不修复等），那么从诚信和公平的角度出发，您应当将这笔钱退回给对方。因为对方支付这笔钱的目的是为了修复电动车，而您未履行这一义务，对方有权要求返还。
   • 法律依据：虽然直接的法律条文可能并未明确规定此种情况下的返还义务，但根据《中华人民共和国民法典》中关于诚实信用原则和公平原则的规定，当事人应当遵循诚信原则，履行自己的义务，不得滥用权利损害他人利益。您未修复电动车却保留赔偿款，可能构成对对方权益的不当侵害。

2. 若双方未明确约定必须修复电动车：

   • 如果双方只是就赔偿金额达成了一致，但并未明确约定这笔钱必须用于电动车的修复，那么您是否退回这笔钱就存在一定的灵活性。在这种情况下，您可以与对方进行协商，看对方是否同意您保留这笔钱或者用于其他用途。
   • 建议：即使双方未明确约定修复事宜，从维护良好人际关系和避免潜在纠纷的角度出发，如果您不打算修复电动车，最好还是与对方沟通并说明情况，看对方是否接受您保留这笔钱或者提出其他解决方案。

3. 若电动车修复费用实际低于160元：

   • 如果您发现电动车的修复费用实际上低于160元，且您已经与对方沟通了这一情况，但对方仍然坚持支付160元作为赔偿，那么您是否退回多余的部分也取决于双方的协商结果。如果对方同意您保留多余的部分作为其他补偿（如误工费、交通费等），那么您可以不退回；如果对方要求退回多余的部分，那么您应当尊重对方的意愿并退回。

额外建议：

• 在处理此类交通事故赔偿事宜时，建议双方尽量签订书面协议，明确赔偿金额、用途以及双方的权利义务等，以避免后续产生纠纷。
• 如果双方无法就赔偿事宜达成一致或者产生纠纷，可以考虑通过调解、仲裁或者诉讼等法律途径解决。

总之，是否需要把钱退回给对方取决于多种因素，包括双方的具体约定、电动车的修复情况以及双方的沟通协商结果等。如果您对此有任何疑问或者需要进一步的法律帮助，请随时向我咨询。