结论：是否缴纳罚款不能一概而论，需根据罚款主体、程序合法性、伤情鉴定结果等核心要素综合判断，以下分情况说明：

1. 若罚款主体为公安机关（行政处罚）

• 程序合法性审查：根据《治安管理处罚法》第43条，公安机关对打架斗殴行为可处5-10日拘留+200-500元罚款（情节较轻可处5日以下拘留或500元以下罚款）。若公安机关未履行立案、调查、告知权利、送达处罚决定书等法定程序，你有权拒绝缴纳罚款，并可申请行政复议或提起行政诉讼。
• 伤情鉴定影响：若对方伤情经鉴定为轻伤及以上，案件可能转为刑事案件（故意伤害罪），此时公安机关应撤销行政处罚，转由检察院提起公诉。若在刑事立案前已缴纳行政罚款，后续可能通过刑事附带民事诉讼追偿医疗费等损失，但罚款本身不直接影响刑事责任认定。

2. 若罚款主体为其他单位或个人（非法罚款）

• 无效性原则：除公安机关外，任何单位（如居委会、物业公司）或个人均无权对打架行为进行罚款。此类“罚款”属于违法行为，你有权拒绝缴纳，并可向当地公安机关报案或通过诉讼要求返还。
• 例外情形：若双方在调解协议中约定“赔偿金”而非“罚款”，且金额合理（如覆盖医疗费、误工费等实际损失），则需履行协议；但若协议显失公平（如对方轻微伤却索赔数万元），可申请法院撤销或变更。

3. 应对建议

• 核实罚款依据：要求罚款方出示书面处罚决定书，明确罚款主体、法律依据、金额计算方式及救济途径。
• 伤情鉴定优先：若对方声称受伤，立即要求共同委托司法鉴定机构进行伤情鉴定。若鉴定为轻微伤，公安机关可能按治安案件处理；若为轻伤及以上，需做好刑事辩护准备。
• 证据固定：保存现场照片、视频、证人联系方式、医疗记录等证据，以证明事件经过及自身责任比例。

行动提示：若对罚款合法性存疑，或已收到处罚决定书但认为程序违法，可在收到决定书之日起60日内申请行政复议，或6个月内直接向法院提起行政诉讼。如有进一步细节需要分析，可直接向我提供罚款主体、金额、事件经过等关键信息。