结论前置：对方先骂你，你骂回去后他打你，这一系列行为中，对方打你的行为是违法的，可能面临治安管理处罚甚至刑事责任；而你骂回去的行为是否违法，则需根据辱骂的严重程度、造成的后果等因素综合判断。

详细分析：

1. 对方打你的行为：

   • 法律性质：无论你先前的行为如何，对方动手打人都是不被法律允许的行为，这侵犯了你的身体权和健康权。
   • 法律后果：
     • 情节较轻：如果殴打行为导致你轻微伤，对方一般属于违反治安管理的行为。依据《中华人民共和国治安管理处罚法》第四十三条，将处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
     • 情节较重：如果殴打行为致使你轻伤及以上后果，对方则涉嫌构成故意伤害罪。根据《中华人民共和国刑法》第二百三十四条，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。

2. 你骂回去的行为：

   • 法律性质：你骂回去的行为，如果情节轻微，未对对方的名誉、精神等方面造成实质性损害，通常不会被认定为违法，更可能被视为一般的民事纠纷或不文明行为。但如果辱骂行为情节较重，如使用极其污秽、恶毒的语言，在公众场合进行辱骂导致周围人围观，扰乱了公共秩序，或者对对方造成了精神伤害，则可能构成违法行为。
   • 可能后果：
     • 民事侵权：如果辱骂行为侵害了对方的名誉权，使其社会评价降低，那么这就构成了民事侵权。对方有权要求你承担停止侵害、恢复名誉、消除影响、赔礼道歉以及赔偿损失等民事责任。
     • 违反治安管理：若辱骂行为情节严重，扰乱了公共秩序，依据《中华人民共和国治安管理处罚法》的相关规定，你可能会受到五日以下拘留或五百元以下罚款的处罚；情节较重的，还可能面临五日以上十日以下拘留，并可并处五百元以下罚款。

建议与总结：

• 面对辱骂：当面对他人的辱骂时，最明智的做法是保持冷静，避免情绪化的回应。尽量通过和平的方式解决矛盾，如沟通、协商或寻求第三方的调解。
• 面对殴打：如果对方动手打你，应立即报警，并尽可能保护自己的安全。让法律来制裁对方的违法行为，而不是以暴制暴。
• 法律途径：如果辱骂或殴打行为给你造成了损失，你可以通过法律途径来维护自己的权益，如要求对方赔偿损失、赔礼道歉等。

总之，面对冲突和矛盾时，我们应该保持冷静和理智，通过合法途径来解决问题。这样不仅能有效维护自己的权益，还能维护社会的和谐与稳定。如果你有任何法律问题或需要进一步的法律帮助，可以直接向我咨询。