结论：对方先骂人，你揪他衣领的行为是否犯法，需根据具体情况判断，可能涉及违法也可能不违法。以下从不同角度进行分析：

1. 从治安管理处罚的角度：

   • 一般情况：如果揪衣领的行为并未造成对方身体伤害，且情节轻微，通常可能被视为一种轻微的肢体冲突或争执，不一定会受到治安管理处罚。但这样的行为仍然是不恰当的，可能引发进一步的冲突或纠纷。
   • 情节严重：如果揪衣领的行为导致对方身体受到伤害（如皮肤擦伤、淤青等），或者行为本身具有挑衅性、侮辱性，且情节较为严重，那么根据《中华人民共和国治安管理处罚法》的相关规定，你可能会受到警告、罚款或拘留等处罚。具体来说，如果行为被认定为“殴打他人”或“故意伤害他人身体”，即使伤害程度较轻，也可能面临五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。

2. 从民事侵权的角度：

   • 揪衣领的行为如果侵犯了对方的人格权（如名誉权、身体权等），对方有权要求你承担民事侵权责任。这可能包括赔偿损失、赔礼道歉等。即使行为未造成明显的身体伤害，但如果对方认为其名誉或尊严受到了损害，也可能通过法律途径寻求救济。

3. 从刑事责任的角度：

   • 在极少数情况下，如果揪衣领的行为导致对方受到严重伤害（如重伤或死亡），或者行为本身具有极其恶劣的性质（如出于报复、泄愤等目的），那么你可能面临刑事责任的追究。但这种情况相对罕见，且需要满足严格的构成要件。

建议：

• 保持冷静：在面对冲突时，尽量保持冷静和理智，避免采取过激行为。
• 沟通解决：尝试通过沟通、协商等方式解决问题，避免肢体冲突。
• 寻求帮助：如果无法自行解决冲突，可以寻求第三方（如警方、调解机构等）的帮助。
• 了解法律：增强法律意识，了解自己的权利和义务，避免因为无知而触犯法律。

后续行动：

• 如果你已经揪了对方的衣领，且对方表示不满或要求赔偿，建议你及时与对方沟通，了解对方的诉求，并尝试协商解决。
• 如果对方坚持要求法律救济，或者你认为自己的行为可能构成违法或犯罪，建议你及时咨询专业律师（即向我咨询），以便得到更具体的法律建议和指导。