结论：针对您提出的“聚众斗殴赔偿拘留，又赔偿金7万不合理想退回可以吗”这一问题，需要分情况讨论。若赔偿金7万是在刑事附带民事诉讼中确定的赔偿数额，且已经履行，一般情况下不能随意退回；若赔偿金7万是在刑事和解过程中达成的协议，且存在法定撤销或无效情形，则有可能退回。以下为详细分析：
一、赔偿金在刑事附带民事诉讼中的情况
法律背景：
- 在聚众斗殴案件中，如果造成了他人人身伤害或财产损失，受害者有权在刑事诉讼过程中提起附带民事诉讼，要求赔偿。
- 法院会根据受害者的实际损失、加害者的过错程度等因素，确定赔偿数额。
法律分析：
- 如果赔偿金7万是法院在刑事附带民事诉讼中判决确定的，且加害者已经履行了赔偿义务，那么这笔赔偿金就具有了法律上的确定性，一般情况下不能随意退回。
- 除非受害者同意退回，或者加害者能够证明赔偿金数额存在重大误解、显失公平等法定撤销情形，且通过法律程序成功撤销了原判决或调解协议，否则赔偿金不能退回。
二、赔偿金在刑事和解中的情况
法律背景：
- 在刑事诉讼过程中，加害者和受害者可以通过和解的方式解决纠纷，包括赔偿问题。
- 和解协议通常具有民事合同的性质，对双方具有约束力。
法律分析：
- 如果赔偿金7万是在刑事和解过程中达成的协议，且加害者已经支付了赔偿金，那么这笔赔偿金在一般情况下也是不能随意退回的。
- 但是，如果和解协议存在法定无效情形（如一方以欺诈、胁迫的手段订立合同，损害国家利益；恶意串通，损害国家、集体或者第三人利益等），或者加害者能够证明赔偿金数额显失公平、存在重大误解等法定撤销情形，且通过法律程序成功撤销了和解协议，那么赔偿金有可能退回。
三、实际操作建议
审查赔偿协议：
- 首先，您需要仔细审查赔偿协议的内容，确定赔偿金7万是在刑事附带民事诉讼中确定的，还是在刑事和解过程中达成的。
咨询法律意见：
- 如果您认为赔偿金数额不合理，或者存在法定撤销或无效情形，建议咨询专业律师（即向我咨询）的法律意见，了解具体的法律程序和可能性。
采取法律行动：
- 根据律师的法律意见，如果您决定采取法律行动，如提起撤销之诉或申请再审等，需要准备相关证据材料，并按照法律程序进行操作。
四、可能面临的法律后果
如果赔偿金不能退回：
- 您将需要承担已经支付的赔偿金，且可能面临受害者的其他法律诉求（如要求继续履行赔偿义务、承担违约责任等）。
如果赔偿金能退回：
- 您将能够收回已经支付的赔偿金，但可能需要承担一定的法律费用（如诉讼费、律师费等），且如果和解协议或判决被撤销，您可能面临重新审判或赔偿的风险。
五、特别提醒
- 在处理此类纠纷时，请务必保持冷静和理性，避免采取过激行为或违法手段。
- 建议您及时咨询专业律师（即向我咨询）的法律意见，以便更好地维护自己的合法权益。