结论：责任大小并非单纯由谁先挑起事端来决定，而是需根据冲突的具体情况、双方行为表现、受伤程度及法律后果等多方面因素综合判断。下面我将从民事、行政及刑事三个角度为你详细分析。
民事责任
双方过错分担：
- 在对方挑事的情况下，若你因情绪激动或冲动将对方打伤，民事赔偿责任会根据双方的过错程度来分担。如果对方挑事情节轻微，而你的反应过于激烈，那么你可能需要承担主要责任；若对方挑事情节严重，甚至存在肢体冲突，双方可能承担同等责任；若对方行为已对你构成现实威胁，你在合理限度内反击，则可能不承担责任，这符合正当防卫的情形。
- 赔偿范围：包括医疗费、误工费、护理费、交通费等治疗和康复支出的合理费用。
- 法律依据：根据《中华人民共和国民法典》第一千一百七十三条，被侵权人对损害有过错的，可以减轻侵权人的责任。
具体案例：
- 假设对方只是口头挑衅，并未动手，而你却因情绪激动将对方打伤，这种情况下，你可能需要承担较大的民事赔偿责任。
- 如果对方先动手，且行为较为激烈，你在反抗过程中将对方打伤，那么双方可能根据过错程度分担责任。
行政责任
双方可能受罚：
- 对方若存在侮辱、寻衅滋事等行为，可能面临警告、罚款或行政拘留等处罚。
- 你若将对方打伤（轻微伤），根据《中华人民共和国治安管理处罚法》第四十三条，可能处五日以上十日以下拘留及罚款。双方都有过错时，公安机关会依据各自过错程度进行不同力度的处罚。
- 正当防卫免责：若你的行为构成正当防卫，则无需承担行政责任。
具体案例：
- 如果对方只是轻微挑衅，并未造成实质性伤害，而你却将对方打成轻微伤，那么你可能面临行政拘留和罚款的处罚。
- 如果对方先动手，且行为较为恶劣，你在反抗过程中将对方打伤，但并未超过必要限度，那么你可能不需要承担行政责任。
刑事责任
故意伤害罪：
- 若你将对方打伤至轻伤及以上程度，可能构成故意伤害罪。依据《中华人民共和国刑法》第二百三十四条，将面临三年以下有期徒刑、拘役或者管制等刑罚。重伤或死亡情况则刑罚更重。
- 正当防卫与防卫过当：若对方行为严重威胁你生命安全等重大权益，你反击行为在必要限度内且符合正当防卫构成要件，则不需承担刑事责任。但若防卫行为明显超过必要限度造成重大损害，属于防卫过当，应负刑事责任但可减轻或免除处罚。
具体案例：
- 如果你因情绪激动将对方打成轻伤，那么你可能面临刑事指控和相应的刑罚。
- 如果对方先动手，且行为极为恶劣，如使用凶器攻击你，你在反抗过程中将对方打成轻伤或重伤，但并未超过必要限度，那么你可能不需要承担刑事责任或可减轻处罚。
综合建议
- 保持冷静：在面对冲突时，应尽量保持冷静，避免使用暴力解决问题。
- 及时报警：若不幸发生冲突并导致伤害，应及时报警并配合公安机关调查处理。
- 寻求法律援助：在处理此类纠纷时，建议你及时向我咨询，以了解自己的权利和义务以及可能的法律后果。
总之，责任认定是一个复杂且需要综合多方面因素来判断的法律问题。希望以上分析能对你有所帮助，如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。