在您描述的“抓衣服后对方打人”的情境中，责任的大小并非单一因素决定，而是需要综合考虑双方行为的性质、过错程度以及因果关系等多个方面。以下是从不同角度对这一问题的详细分析：
对方打人的行为性质：
- 对方打人，无论出于何种原因，都构成了对他人人身权利的侵犯，这是明确的违法行为。根据《中华人民共和国民法典》中关于侵权责任的规定，侵害他人造成人身损害的，应当承担侵权责任。因此，对方至少需要承担因其打人行为造成的民事赔偿责任，包括医疗费、护理费、交通费等为治疗和康复支出的合理费用，以及因误工减少的收入。
- 如果对方打人行为情节严重，如造成轻伤或重伤，还可能触犯《中华人民共和国刑法》中的故意伤害罪，需要承担刑事责任。
您抓衣服的行为性质：
- 您抓衣服的行为，可能被视为一种挑衅或冲突的起因。然而，这并不意味着您需要承担对方打人行为的全部或主要责任。因为，无论何种原因，都不能成为对方实施暴力行为的合法理由。
- 如果您的抓衣服行为并未构成对对方人身权利的实质性侵犯（如未造成对方身体伤害或精神损害），那么您的行为可能仅被视为一种不恰当的冲突方式，而不需要承担对方打人行为的法律责任。但如果您抓衣服的行为过于激烈或持续，导致对方产生合理的防卫心理或行为，那么您可能需要承担一定的过错责任。
双方过错程度的比较：
- 在确定责任大小时，法院或相关机构会综合考虑双方的过错程度。如果对方打人行为明显恶劣，且您的抓衣服行为并未构成实质性挑衅或侵犯，那么对方将承担更大的责任。
- 反之，如果您的抓衣服行为被视为挑衅或侵犯，且对方打人行为是在受到挑衅后的合理反应（尽管这种反应仍然是不恰当的），那么您可能需要承担一定的责任，但对方仍然需要因其打人行为承担主要责任。
因果关系与责任划分：
- 在确定责任时，还需要考虑双方行为之间的因果关系。如果对方打人行为是直接由您的抓衣服行为引发的，且没有其他介入因素，那么您可能需要承担一定的责任。但通常情况下，对方作为成年人，应当对自己的行为负责，不能简单地将打人行为归咎于您的挑衅。
- 如果存在其他介入因素（如第三方挑拨、环境因素等），那么责任划分将更加复杂，需要综合考虑各种因素来确定。
法律建议：
- 在此类冲突中，建议双方保持冷静，通过沟通或寻求第三方调解来解决问题，避免采取暴力行为。
- 如果已经发生打人事件，建议立即报警并保留相关证据（如现场照片、视频、证人证言等），以便后续维权。
- 如果您认为自己的权益受到侵害，可以寻求法律援助或咨询专业律师，了解自己的权利和维权途径。
总结来说，在“抓衣服后对方打人”的情境中，责任的大小需要综合考虑双方行为的性质、过错程度以及因果关系等多个方面。无法简单地判断谁的责任更大一些，而是需要根据具体情况进行具体分析。如果您有任何法律问题或需要进一步的法律建议，请直接向我咨询。