结论：是否犯法需结合具体情况判断，若对方抓衣领行为未构成正当防卫前提下的不法侵害，或你的反击超出必要限度，则可能涉嫌违法甚至犯罪；若符合正当防卫条件，则不构成违法。以下从不同角度详细分析：
一、若对方抓衣领行为构成不法侵害，且你的反击符合正当防卫条件
法律背景：
- 根据《中华人民共和国刑法》第二十条：“为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。”
- 正当防卫要求防卫行为必须针对正在进行的不法侵害，且防卫手段需与侵害程度相适应，未明显超出必要限度。
具体分析：
- 若对方抓你衣领子，意图对你进行人身攻击或侮辱，且该行为正在进行中，你为了保护自己的人身安全或人格尊严，打对方一拳以制止其侵害行为，且该拳击行为未造成对方严重伤害（如轻伤以上），则你的行为可能构成正当防卫，不构成违法。
二、若对方抓衣领行为不构成不法侵害，或你的反击超出必要限度
法律背景：
- 若对方抓衣领行为并未对你构成实质性威胁或侵害，如仅是轻微拉扯或玩笑性质，则你的反击行为可能不构成正当防卫。
- 若你的反击行为明显超出必要限度，如对方仅抓衣领而你却使用暴力手段致对方重伤或死亡，则你的行为可能构成防卫过当或故意伤害罪。
具体分析：
- 防卫过当：根据《中华人民共和国刑法》第二十条第二款：“正当防卫明显超过必要限度造成重大损害的，应当负刑事责任，但是应当减轻或者免除处罚。” 若你的反击行为超出必要限度，但并未造成对方严重伤害，可能构成防卫过当，需承担相应的刑事责任，但可从轻或减轻处罚。
- 故意伤害罪：若你的反击行为导致对方轻伤以上后果，且无法证明你的行为构成正当防卫或防卫过当，则你可能构成故意伤害罪，需承担刑事责任。根据伤害程度不同，可能面临三年以下有期徒刑、拘役或管制，甚至更重的刑罚。
三、其他可能情况
互殴行为：
- 若双方均存在攻击行为，且无法明确区分防卫与侵害，则可能构成互殴。互殴行为中，双方均可能因违反治安管理处罚法而受到行政处罚，如罚款、拘留等。
民事赔偿：
- 无论你的行为是否构成违法或犯罪，若你的反击行为导致对方人身损害，对方均有权要求你承担民事赔偿责任。赔偿范围包括医疗费、护理费、交通费等为治疗和康复支出的合理费用，以及因误工减少的收入。
建议：
- 在面对类似情况时，尽量保持冷静，避免使用暴力手段解决问题。
- 若对方行为确实构成不法侵害，且你无法通过其他方式制止，可考虑采取适当的防卫措施，但需注意防卫手段的合理性和必要性。
- 若已发生冲突并造成对方伤害，建议立即报警并配合调查，同时咨询专业律师以了解自己的法律权益和义务。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。