核心结论：保险公司以鉴定违规为由要求退回已赔付的伤残保险金，是否需要退回取决于鉴定程序是否确实存在违规情形以及该违规情形对伤残等级认定和保险赔付的具体影响。以下分情况详细说明：

情况一：鉴定程序确实存在违规，且违规行为影响了伤残等级认定和保险赔付金额

1. 法律依据
   • 根据《司法鉴定程序通则》等相关规定，司法鉴定应当遵循法定程序，确保鉴定意见的科学性、客观性和公正性。如果鉴定过程中存在违反法定程序的行为，如鉴定人应当回避而没有回避、鉴定材料不真实不完整等，可能导致鉴定意见被认定为无效。
   • 在保险合同纠纷中，伤残等级鉴定结果是保险公司确定赔付金额的重要依据。如果鉴定违规导致伤残等级认定不准确，进而使保险公司多赔付了保险金，保险公司有权要求退回多赔付的部分。
2. 应对措施
   • 核实鉴定违规情况：您可以要求保险公司提供详细的证据，证明鉴定程序存在违规行为以及该违规行为如何影响了伤残等级认定和保险赔付金额。例如，保险公司需要提供鉴定机构违反程序的书面证明、重新鉴定后伤残等级降低的报告等。
   • 协商解决：如果确实存在鉴定违规且影响了赔付金额，您可以与保险公司协商，按照重新确定的伤残等级和合理的赔付标准，退回多赔付的部分保险金。
   • 寻求法律帮助：如果您对保险公司的要求有异议，或者认为保险公司在处理过程中存在不当行为，您可以收集相关证据，如保险合同、鉴定报告、沟通记录等，通过法律途径维护自己的合法权益。您可以向法院提起诉讼，要求法院对鉴定违规情况和保险赔付问题进行审理和判决。

情况二：鉴定程序不存在违规，或者违规行为未影响伤残等级认定和保险赔付金额

1. 法律依据
   • 如果鉴定程序符合法律规定，鉴定意见具有合法性和有效性，那么保险公司以鉴定违规为由要求退回保险金就没有法律依据。保险合同是双方自愿签订的，保险公司应当按照合同约定履行赔付义务。
   • 根据《保险法》的规定，保险公司收到被保险人或者受益人的赔偿或者给付保险金的请求后，应当及时作出核定；情形复杂的，应当在三十日内作出核定，但合同另有约定的除外。保险公司作出核定后，对不属于保险责任的，应当自作出核定之日起三日内向被保险人或者受益人发出拒绝赔偿或者拒绝给付保险金通知书，并说明理由。如果保险公司已经按照合法的鉴定意见进行了赔付，之后又无正当理由要求退回保险金，属于违约行为。
2. 应对措施
   • 拒绝退回保险金：您可以明确告知保险公司，鉴定程序合法有效，不存在违规情况，或者违规行为并未影响伤残等级认定和保险赔付金额，因此您有权拒绝退回保险金。
   • 要求保险公司提供证据：要求保险公司提供充分的证据证明鉴定违规以及该违规行为与伤残等级认定和保险赔付之间的因果关系。如果保险公司无法提供有效证据，其要求是不合理的。
   • 投诉或诉讼：如果保险公司坚持要求退回保险金，并且对您进行骚扰或威胁，您可以向保险监管部门投诉，维护自己的合法权益。同时，您也可以考虑通过法律途径解决纠纷，向法院提起诉讼，要求保险公司继续履行保险合同义务，支付保险金并承担相应的违约责任。

温馨提示：在处理此类纠纷时，建议您保留好所有与交通事故、伤残鉴定和保险赔付相关的证据，如事故认定书、医疗记录、鉴定报告、保险合同、赔付凭证等。这些证据将对您维护自己的合法权益起到重要作用。如果您在处理过程中遇到任何问题，欢迎随时向我咨询。