结论：在对方先骂你的情况下，你骂回去是否违法，需分情况讨论，一般可能涉及民事侵权，情节严重时可能涉及行政违法，但通常不构成刑事犯罪。
一、民事侵权角度
名誉权侵权：
- 如果骂人的行为导致对方的社会评价降低，比如使用了侮辱性、诽谤性的语言，且这些语言被第三人知晓，那么可能构成对对方名誉权的侵害。
- 在这种情况下，无论是你先骂还是对方先骂，只要骂人的行为造成了对方名誉的损害，都可能需要承担民事责任，包括停止侵害、恢复名誉、消除影响、赔礼道歉以及赔偿损失等。
具体情境分析：
- 如果对方先骂你，你出于自卫或反击的目的骂回去，且骂人的程度与对方相当，没有超出必要的限度，那么可能不构成名誉权侵权，或者即使构成侵权，责任也可能相对较轻。
- 如果你骂人的程度明显超过了对方，或者使用了特别恶劣的语言，那么可能构成对对方名誉权的严重侵害，需要承担更重的民事责任。
二、行政违法角度
治安管理处罚：
- 根据《中华人民共和国治安管理处罚法》的相关规定，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
- 在这种情况下，如果你骂人的行为被认定为公然侮辱他人，且情节较重，那么可能面临行政处罚。
情节轻重判断：
- 情节的轻重通常根据骂人的场合、方式、语言内容以及造成的后果等因素来综合判断。
- 如果是在公共场合骂人，或者使用了特别恶劣的语言，或者造成了对方精神上的严重损害等，都可能被认定为情节较重。
三、刑事犯罪角度
一般不构成刑事犯罪：
- 在大多数情况下，骂人的行为并不构成刑事犯罪。刑事犯罪通常要求行为具有严重的社会危害性，而一般的骂人行为通常达不到这个程度。
特殊情况：
- 如果骂人的行为伴随着其他严重的违法行为，比如故意伤害、寻衅滋事等，且这些行为达到了刑事犯罪的标准，那么可能构成相应的刑事犯罪。
- 但这种情况通常比较罕见，且需要具体的证据来支持。
四、建议
保持冷静：
- 在面对对方的辱骂时，尽量保持冷静和理智，不要轻易被对方激怒而做出过激的反应。
收集证据：
- 如果可能的话，尽量收集对方辱骂你的证据，比如录音、录像、证人证言等。这些证据在后续的法律程序中可能会起到重要的作用。
寻求法律帮助：
- 如果你认为自己的权益受到了侵害，或者对方的行为已经构成了违法或犯罪，那么可以及时寻求法律帮助，比如向公安机关报案或者向法院提起诉讼等。
最后，如果你在处理这类问题时遇到任何疑问或需要进一步的法律帮助，可以直接向我咨询。我会根据你的具体情况，为你提供更详细和专业的法律建议。