结论：是否应该收取对方退回的一半的钱，这主要取决于你们双方之间的协商结果以及具体责任划分情况。以下从几个角度为你详细分析：
责任划分角度：
- 如果经过协商或法律程序（如诉讼、调解等）确定，你们应全额赔偿对方眼镜的损失，那么对方退回一半的钱可能意味着对方也承担了一部分责任，或者对方出于某种原因（如人情、和解意愿等）主动放弃了部分赔偿。在这种情况下，如果你们接受这种责任划分，那么收取退回的钱是合理的。
- 如果你们认为你们不应承担全部责任，或者认为赔偿金额过高，而对方退回一半的钱是双方妥协的结果，那么收取这笔钱也是双方协商一致的体现，同样合理。
协商一致角度：
- 无论责任如何划分，如果双方已经就赔偿金额和退回金额达成了一致意见，并且这种意见是自愿、平等、公平的，那么收取退回的钱就是符合双方约定的，也是合法的。
法律后果角度：
- 如果你们收取了退回的钱，并且之后对方没有提出异议或要求返还，那么这笔交易就是有效的，双方都应遵守。
- 如果你们收取了退回的钱后，对方后来反悔并要求返还，那么这可能会引发新的纠纷。在这种情况下，你们需要依据之前的协商记录、证据等来维护自己的权益。如果协商无果，可能需要通过法律途径来解决。
建议：
- 在处理此类纠纷时，建议尽量通过书面形式（如书面协议、聊天记录等）记录双方的协商过程和结果，以便在需要时作为证据使用。
- 如果对责任划分或赔偿金额有争议，可以考虑寻求第三方调解或法律途径来解决，以确保双方的权益得到公平、合理的保护。
- 在收取退回的钱之前，最好与对方明确沟通并确认双方的意思表示一致，避免后续产生不必要的纠纷。
示例：
假设你们和对方经过协商，确定眼镜的损失为1000元，你们原本应全额赔偿。但对方考虑到你们孩子的年龄、行为性质等因素，主动提出只要求赔偿500元，并退回了另外500元。在这种情况下，如果你们接受这种安排，那么收取退回的500元就是合理的。
总之，是否收取对方退回的一半的钱，应根据双方协商的结果和具体责任划分情况来决定。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。