对方抓住你衣领要打你的行为是违法的。以下从不同角度为你详细分析：
一、法律定性
侵犯人格权：
- 根据《中华人民共和国民法典》的相关规定，自然人享有生命权、身体权、健康权、姓名权、肖像权、名誉权、荣誉权、隐私权等人格权。对方抓住你衣领的行为，虽然没有直接造成身体伤害，但已经对你的身体自由构成了限制，侵犯了你的人格尊严和身体自由权，属于侵权行为。
可能构成治安违法：
- 根据《中华人民共和国治安管理处罚法》的规定，殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。虽然对方只是抓住你衣领并未实际殴打，但该行为具有威胁性和挑衅性，如果情节严重，如伴随言语威胁、推搡等，可能构成治安违法，公安机关可以对其进行处罚。
可能构成刑事犯罪（极端情况）：
- 在极端情况下，如果对方的行为已经超出了简单的抓住衣领，而是伴随着严重的暴力威胁或实际暴力行为，且情节恶劣，可能构成寻衅滋事罪或其他相关犯罪。但这需要具体分析行为的具体情节和后果。
二、法律后果与应对建议
民事赔偿：
- 如果对方的行为给你造成了精神损害或身体上的轻微伤害（如皮肤擦伤等），你可以要求对方承担民事赔偿责任，包括医疗费、精神损害抚慰金等。
报警处理：
- 面对此类情况，首先应保持冷静，避免与对方发生进一步冲突。如果对方的行为持续或升级，应立即报警。公安机关会依法进行调查处理，并根据情节轻重给予相应的治安处罚。
收集证据：
- 在报警前或报警后，应尽可能收集相关证据，如现场照片、视频、目击者证言等，以便在后续的法律程序中证明对方的行为和你的损失。
法律途径解决：
- 如果对方拒绝赔偿或公安机关的处理结果不能满足你的需求，你可以通过法律途径解决纠纷，如向法院提起民事诉讼或申请行政复议等。
三、特殊情况考虑
自卫与反击：
- 如果在对方抓住你衣领的过程中，你为了保护自己的人身安全而进行了合理的自卫或反击，且没有超过必要的限度，那么你的行为可能构成正当防卫，不需要承担法律责任。但需要注意的是，自卫或反击的行为必须合理且适度，否则可能构成防卫过当或故意伤害等犯罪。
双方关系：
- 如果对方是你的熟人或存在某种关系（如同事、邻居等），在报警或采取法律行动前，也可以考虑通过协商、调解等方式解决纠纷。但协商和调解应建立在双方自愿和平等的基础上，且不得违反法律法规和公序良俗。
综上所述，对方抓住你衣领要打你的行为是违法的，你可以根据实际情况选择合适的应对方式。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。