结论：在对方先骂人的情况下，你揪他衣领的行为是否犯法，需根据具体情节和造成的后果来判断，可能涉及治安管理处罚或民事侵权责任，甚至可能构成刑事犯罪。

分析如下：

1. 治安管理处罚角度：

   • 根据《中华人民共和国治安管理处罚法》的相关规定，如果揪衣领的行为被认定为“殴打他人”或“故意伤害他人身体”，但尚未造成严重后果（如轻微伤以下），则可能面临五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
   • 在此情境下，即使对方先骂人，你的揪衣领行为若被认定为具有攻击性或挑衅性，仍可能受到治安管理处罚。但对方先骂人的行为，在量罚时可能会作为情节考虑，对处罚结果产生一定影响。

2. 民事侵权责任角度：

   • 揪衣领的行为若导致对方身体受到伤害（如皮肤擦伤、淤青等），即使不构成治安管理处罚或刑事犯罪，你也可能因侵犯对方的人身权而承担民事侵权责任。
   • 根据《中华人民共和国民法典》的相关规定，你需要赔偿对方因你的行为所遭受的损失，包括医疗费、误工费等合理费用。

3. 刑事犯罪角度：

   • 如果揪衣领的行为导致对方受到严重伤害（如轻伤以上），则可能构成故意伤害罪。根据《中华人民共和国刑法》的相关规定，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。
   • 在此情境下，即使对方先骂人，也不能成为你实施犯罪行为的免责理由。

建议：

• 在面对冲突时，应保持冷静和理智，避免采取过激行为。如果对方先骂人，你可以选择通过合法途径维护自己的权益，如向相关部门投诉或寻求法律帮助。
• 如果已经发生了揪衣领等行为，且对方因此受到了伤害，建议你立即与对方沟通协商，寻求和解或赔偿方案。如果无法达成一致，对方可能会选择报警或提起诉讼，届时你将面临相应的法律责任。

后续思考：

• 在日常生活中，我们应尊重他人的人格权，避免使用侮辱、诽谤等言语攻击他人。同时，也要学会保护自己的合法权益，当受到不法侵害时，及时寻求法律帮助。
• 如果你对具体情节或法律后果有疑问，或者需要进一步的法律帮助，可以直接向我咨询。我会根据你的具体情况，提供专业的法律意见和解决方案。