结论：无论对方先动手打你，还是存在其他挑衅行为，你打他都是可能犯法的，具体法律后果取决于伤害程度和具体情节。
详细分析如下：
法律性质与后果：
- 民事层面：打人行为侵犯了他人的身体权，根据《中华人民共和国民法典》的相关规定，你需要承担民事赔偿责任，包括医疗费、护理费、交通费等合理费用，以及因误工减少的收入等。
- 行政层面：若殴打行为情节较轻，未达刑事犯罪标准，将依据《中华人民共和国治安管理处罚法》第四十三条的规定，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。若存在结伙殴打、伤害特定人群（如残疾人、孕妇、不满十四周岁的人或六十周岁以上的人）、多次殴打或一次殴打多人等情形，处罚将更为严厉。
- 刑事层面：若伤害导致对方轻伤以上，可能构成故意伤害罪，依据《中华人民共和国刑法》第二百三十四条的规定，将面临三年以下有期徒刑、拘役或者管制的处罚；致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。
特殊情况分析：
- 正当防卫：如果对方先动手打你，且你的还手行为是为了保护自己免受正在进行的不法侵害，且防卫措施适度（未超过必要限度），那么你的行为可能被认定为正当防卫，不负法律责任。但需注意，正当防卫的认定需严格符合法定条件，并由司法机关结合具体情况判定。
- 防卫过当：若你的防卫措施超过必要限度，如对方只是轻微推搡而你重拳回击，导致对方受到较重伤害，则可能构成防卫过当甚至故意伤害罪。在这种情况下，你将承担相应的法律责任。
合法维权途径：
- 面对冲突时，应尽量避免动手，优先保护自己的安全。
- 如遇不法侵害，应尽量保持冷静，通过法律途径解决，如报警、寻求调解等。
- 可以要求对方停止侵害、赔礼道歉，并寻求相关部门（如公安机关、调解机构）的帮助来维护自身权益。
建议：
- 在面对冲突时，务必保持冷静和理智，避免冲动行为导致不必要的法律后果。
- 如果对方先动手打你，尽量采取躲避、呼救等合法方式保护自己，并及时报警处理。
- 对于任何形式的暴力行为，都应谨慎对待，确保自己的行为符合法律规定，避免不必要的法律风险。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。