结论：在您描述的情况下，如果合同中没有明确约定对方需保持三者险有效，且您在购买时确实不知情，对方退掉三者险的行为一般不直接构成法律上的责任，但可能涉及合同诚信原则和交易习惯的问题，您可以根据实际情况采取相应措施。以下从不同角度为您详细分析：

一、合同约定与责任

1. 合同内容：首先，要查看您与卖方签订的二手车买卖合同中，是否有明确约定卖方需保持车辆保险（包括三者险）在交易期间或交易后一段时间内有效。如果合同中有此类明确约定，而卖方未经您同意擅自退掉三者险，则卖方构成违约，您有权要求其承担违约责任，包括但不限于恢复保险、赔偿损失等。

2. 无明确约定：如果合同中没有明确约定卖方需保持三者险有效，那么从合同法的角度来看，卖方退掉三者险的行为并不直接构成违约。因为合同双方的权利义务应以合同约定为准，未约定的事项，除非法律另有规定或符合交易习惯，否则不产生法律上的约束力。

二、诚信原则与交易习惯

1. 诚信原则：虽然合同中没有明确约定，但根据《民法典》中的诚信原则，当事人在订立、履行合同过程中，应当遵循诚实信用原则，根据合同的性质、目的和交易习惯履行通知、协助、保密等义务。如果卖方在交易过程中故意隐瞒或误导您关于车辆保险的情况，可能构成对诚信原则的违反，您有权要求其承担相应的法律责任。

2. 交易习惯：在二手车交易中，保持车辆保险有效通常被视为一种良好的交易习惯。如果卖方在交易前或交易过程中未向您明确说明将退掉三者险，且该行为不符合当地二手车交易的普遍做法或习惯，您也可以据此与卖方进行协商，要求其恢复保险或给予相应补偿。

三、您的权益保护措施

1. 协商沟通：首先，建议您与卖方进行友好协商，说明您的情况和诉求，看是否能够达成一致意见，如恢复保险或给予一定补偿。

2. 法律途径：如果协商无果，您可以考虑通过法律途径维护自己的权益。例如，向当地消费者协会投诉、寻求法律援助或提起诉讼等。在提起诉讼时，您需要准备相关证据，如合同、交易记录、沟通记录等，以证明卖方的行为构成违约或违反诚信原则。

建议：在未来的二手车交易中，建议您在签订合同前仔细阅读合同条款，特别是关于车辆保险的部分，确保自己的权益得到充分保障。同时，也可以要求卖方提供车辆的保险单等相关文件，以便了解车辆的保险情况。如果您在二手车交易过程中遇到任何法律问题或困惑，可以直接向我咨询，我会为您提供专业的法律建议和帮助。