结论：在打架斗殴赔偿过高且已打入受害人卡上的情况下，能否要求退还一半，这并非一个简单的是非问题，而是需要根据具体情况来判断。以下是从不同角度进行的分析：

1. 赔偿协议的合法性：

   • 如果双方在赔偿前已经达成了书面或口头的赔偿协议，并且该协议是双方真实意思的表示，不违反法律、行政法规的强制性规定，也不违背公序良俗，那么该协议是有效的。在这种情况下，赔偿方已经按照协议履行了赔偿义务，通常不能单方面要求退还部分赔偿。
   • 如果赔偿协议存在欺诈、胁迫、显失公平等情形，导致赔偿方在签订协议时并非出于真实意愿，那么赔偿方有权请求人民法院或者仲裁机构变更或者撤销该协议。但撤销协议后，赔偿方需要承担举证责任，证明协议存在上述情形。

2. 赔偿金额的合理性：

   • 赔偿金额应当根据受害人的实际损失来确定，包括医疗费、误工费、护理费、交通费、住宿费、住院伙食补助费、必要的营养费等。如果赔偿金额明显高于受害人的实际损失，且没有合理的解释或依据，那么赔偿方可以尝试与受害人协商减少赔偿金额。
   • 如果协商不成，赔偿方可以向人民法院提起诉讼，请求法院对赔偿金额进行调整。但需要注意的是，法院在调整赔偿金额时，会综合考虑多种因素，包括受害人的实际损失、赔偿方的经济能力、双方的过错程度等。

3. 实际操作中的建议：

   • 协商：首先尝试与受害人进行友好协商，说明赔偿金额过高的情况，看是否能够达成一致意见，减少赔偿金额。
   • 法律途径：如果协商不成，且赔偿方认为赔偿金额确实过高，可以咨询专业律师，评估案件情况后，考虑向人民法院提起诉讼，请求法院对赔偿金额进行调整。但需要做好充分的准备，包括收集证据、撰写诉状等。
   • 注意风险：在尝试要求退还部分赔偿时，赔偿方需要意识到可能存在的风险。如果受害人不同意退还，且赔偿方无法提供充分的证据证明赔偿金额过高或协议存在无效情形，那么赔偿方可能无法成功要求退还部分赔偿。

法律背景：

• 根据《中华人民共和国民法典》的相关规定，民事主体从事民事活动，应当遵循公平原则，合理确定各方的权利和义务。如果赔偿金额明显违反公平原则，赔偿方有权请求法院或仲裁机构进行调整。
• 同时，根据《中华人民共和国民法典》中关于合同的规定，如果合同存在欺诈、胁迫、显失公平等情形，受损害方有权请求法院或仲裁机构变更或撤销合同。

后续行动建议：

• 在处理此类问题时，建议赔偿方保持冷静和理性，不要采取过激行为。
• 尽快咨询专业律师，评估案件情况，制定合适的策略。
• 准备好相关证据，如赔偿协议、受害人的实际损失证明等，以便在协商或诉讼中使用。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。