他先骂你的行为是违法的。以下从法律角度为你详细分析：
从人格权保护的角度：
- 根据《中华人民共和国民法典》第一千零二十四条，民事主体享有名誉权。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。名誉是对民事主体的品德、声望、才能、信用等的社会评价。如果有人骂你，这很可能构成对你名誉权的侵害，是违法的行为。
从侵权责任的角度：
- 当他人辱骂你时，他们侵犯了你的合法权益。你有权采取法律手段来保护自己，比如要求对方停止侵害、赔礼道歉、消除影响、恢复名誉，甚至可以要求赔偿损失。
关于正当防卫的说明：
- 需要注意的是，虽然他先骂你是违法的，但如果你因此回嘴或者造谣对方，那同样也是侵权行为，需要承担相应的法律责任。正当防卫只能针对正在进行的非法行为，不能针对准备阶段或结束后的行为。所以，在面对辱骂时，要保持冷静，通过合法途径来维护自己的权益。
建议与行动：
- 如果你遇到了这样的情况，建议先尝试与对方沟通，看是否能和平解决。如果沟通无果，你可以考虑向相关部门投诉或者寻求法律帮助。记住，无论何时都要保持冷静和理智，不要让情绪控制你的行为。
总之，他先骂你的行为是违法的，你有权采取法律手段来保护自己。如果你有任何法律问题或者需要进一步的帮助，可以直接向我咨询。