结论：是否构成互殴不能仅凭拽对方衣服这一行为判断，需结合双方行为目的、性质、情节等综合认定。以下从不同角度为你详细分析：
从互殴的认定标准来看
互殴通常是指双方都出于侵害对方的故意而进行的互相攻击的行为。在打架场景中，如果对方先动手，你拽对方衣服这一行为，如果只是出于本能反应，比如为了阻止对方进一步攻击你，或者试图控制住对方以避免冲突升级，并没有主动攻击对方、伤害对方的故意，那么一般不构成互殴。
例如，对方挥拳向你打来，你下意识地拽住对方衣服，使其无法继续攻击你，这种情况下你的行为更多是防御性质。但如果在你拽住对方衣服后，你紧接着对对方进行击打、推搡等具有攻击性的行为，且这种攻击行为超出了必要的防卫限度，那么就可能被认定为互殴。
从正当防卫的角度分析
根据《中华人民共和国刑法》第二十条规定，为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。
在你描述的情况中，对方先动手，这属于正在进行的不法侵害。如果你拽对方衣服是为了制止对方的不法侵害，且没有明显超过必要限度造成重大损害，那么你的行为可能构成正当防卫。比如，对方只是轻微推搡你，你拽住对方衣服使其停止推搡，没有对对方造成其他伤害，这种情况下你的行为就是正当防卫。
然而，如果对方只是轻微动手，而你拽对方衣服后导致对方摔倒受伤，且这种伤害明显超出了对方先动手行为可能造成的危害程度，那么你的行为就可能超出正当防卫的限度，需要承担相应的法律责任。
从民事侵权角度考虑
即使不构成刑事上的互殴或正当防卫，如果双方在打架过程中造成了对方的人身损害，还可能涉及民事侵权责任。根据《中华人民共和国民法典》第一千一百六十五条规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。
如果对方先动手存在过错，而你拽对方衣服的行为也存在一定过错，比如用力过猛导致对方受伤，那么双方可能需要根据各自的过错程度承担相应的民事赔偿责任。例如，法院可能会根据双方的过错比例，判决你承担一定比例的医疗费、误工费等损失。
建议：
如果你还有其他关于侵权损害（人格权）方面的法律问题，可以直接向我咨询。