结论：保险公司是否有权追回返点，需分情况讨论，关键在于返点性质、保险合同条款以及相关法律规定。以下是具体分析：

1. 返点性质与合同约定
   若返点属于保险公司给予投保人的正常优惠（如促销活动、长期客户奖励等），且保险合同中明确约定了返点规则（如“若退保需返还返点”），则保险公司有权依据合同要求返还。此时，您需仔细审查保险合同中关于返点的条款，确认是否存在此类约定。若合同无明确约定，保险公司单方面要求返还可能缺乏法律依据。

2. 返点是否涉及违规操作
   若返点属于“返佣”行为（即保险代理人或经纪人将个人佣金返还给投保人），则可能违反《保险法》第一百三十一条规定：“保险代理人、保险经纪人及其从业人员在办理保险业务活动中不得给予或者承诺给予投保人、被保险人或者受益人保险合同约定以外的利益。”

   • 若返点被认定为违规返佣，保险公司可能以“合同无效”或“违反法律强制性规定”为由，要求返还返点，甚至可能面临监管处罚。
     
   • 但需注意：若返点由保险公司直接支付（非代理人个人行为），且未违反法律，则保险公司追回的合法性需结合合同条款判断。

3. 退保时的权利义务
   根据《保险法》第四十七条，投保人解除合同的，保险人应退还保险单的现金价值。若退保时保险公司已扣除返点金额，或合同明确约定退保需返还返点，则您需按约定履行；若无约定，保险公司无权单方面扣减或追回。

建议行动：

1. 核查合同条款：重点查看保险合同中关于返点、退保的约定，确认是否存在“退保需返还返点”的条款。
   
2. 保留证据：保存返点支付记录、保险合同、退保材料等，以备后续争议使用。
   
3. 协商或投诉：若认为保险公司要求不合理，可先与其协商；协商无果可向当地银保监会投诉（12378热线）。
   
4. 法律途径：若争议升级，可依据《民事诉讼法》向法院起诉，要求确认返点是否需返还。

如有进一步疑问或需具体分析合同条款，可直接向我咨询。