结论：对方先违法辱骂你，你回骂是否违法，取决于辱骂的严重程度、造成的后果以及双方的具体行为表现。一般情况下，回骂可能构成民事侵权，情节严重时可能触犯《治安管理处罚法》甚至刑法。

1. 民事角度分析

从民事法律层面来看，回骂行为若导致对方社会评价降低，即构成了对他人名誉权的侵害。名誉权是人格权的一种，受到法律的保护。无论对方是否先辱骂你，只要你的回骂行为造成了对方名誉受损，你都需要承担相应的民事责任。这包括停止侵害、消除影响、赔礼道歉，并可能依法赔偿损失。

举例：假设对方在公共场合辱骂你，你情绪激动之下也回骂了对方，导致对方在朋友、同事或社交媒体上的声誉受损。此时，对方有权要求你承担民事责任，包括公开道歉和赔偿精神损失等。

2. 治安管理角度分析

若双方的对骂行为扰乱了公共秩序或造成了不良社会影响，公安机关有权根据《治安管理处罚法》进行干预。公然侮辱他人或者捏造事实诽谤他人的，将面临五日以下拘留或者五百元以下罚款的处罚；情节较重的，则可能被处以五日以上十日以下拘留，并可并处五百元以下罚款。

举例：如果你们在公共场所如商场、车站等地方对骂，且引起了周围人的围观和不满，扰乱了公共秩序，那么公安机关可能会对你们双方进行处罚，具体处罚力度会根据情节轻重来判定。

3. 刑事角度分析

虽然一般的回骂行为不会触及刑事责任，但若辱骂内容极其恶劣，构成公然侮辱他人或者捏造事实诽谤他人且情节严重的，则可能触犯刑法中的侮辱罪或诽谤罪，需要承担刑事责任。此外，如果因骂人引发了打架、斗殴等暴力事件，造成了他人的身体伤害，还可能涉及故意伤害罪等其他刑事责任的承担。

举例：如果你回骂的内容涉及对对方人格的极端侮辱，或者你通过社交媒体等公开渠道发布辱骂信息，且该信息被大量传播，对对方造成了严重的精神伤害和社会评价降低，那么你可能构成侮辱罪或诽谤罪，需要承担刑事责任。

4. 司法实践考量与建议

在司法实践中，对于此类案件的处理会综合考虑具体情节、造成的后果以及双方的过错程度等因素。如果对方先挑衅且情节恶劣，而你的回骂情节相对较轻，法院或公安机关在责任认定上可能会给予一定的考量。但这并不意味着回骂行为就是完全正当合法不受任何约束的。相反，它仍然是一种不道德且可能违法的行为。

建议：面对他人的辱骂，最明智的做法是保持冷静，避免情绪化的回应。尽量通过和平的方式解决矛盾，如沟通、协商或寻求第三方的调解。如果无法和平解决，可以及时向公安机关报案或寻求法律援助，通过法律途径维护自己的合法权益。记住，和平解决矛盾才是正道，以暴制暴只会让问题变得更加复杂和难以解决。

如果你在面对此类情况时有任何疑问或需要进一步的法律帮助，可以直接向我咨询。