结论：对方并非一点责任都没有，具体责任划分需根据双方过错程度、因果关系等因素综合判断。以下从不同角度为你详细分析：

一、对方辱骂行为的法律性质及责任

对方辱骂你的行为，可能构成对你人格权的侵害，尤其是名誉权。根据《中华人民共和国民法典》第一千零二十四条规定：“民事主体享有名誉权。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。”如果对方的辱骂行为导致你的社会评价降低，或者给你造成了精神损害，你可以要求对方承担侵权责任，包括停止侵害、赔礼道歉、赔偿损失等。

二、你动手打人的法律性质及责任

你动手打对方两拳的行为，属于故意伤害他人身体的行为。根据《中华人民共和国治安管理处罚法》第四十三条规定：“殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。”如果对方的伤情构成轻伤及以上，你还可能涉嫌故意伤害罪，需要承担刑事责任。

三、双方责任的划分

在双方发生冲突的情况下，责任的划分并非简单的一方全责或另一方全责，而是需要根据双方的过错程度、因果关系等因素进行综合判断。

1. 过错程度：如果对方的辱骂行为较为严重，对你的精神造成了较大刺激，而你的动手行为是在情绪激动下的冲动之举，那么对方的过错程度可能相对较大。反之，如果对方的辱骂行为并不严重，而你的动手行为较为激烈，造成了对方较大的伤害，那么你的过错程度可能相对较大。
2. 因果关系：需要判断对方的辱骂行为与你动手打人之间是否存在直接的因果关系。如果对方的辱骂行为直接引发了你的动手行为，那么对方的辱骂行为可能是导致冲突升级的主要原因。但如果你的动手行为并非完全由对方的辱骂行为引发，而是存在其他因素（如你本身情绪不稳定、对对方有积怨等），那么责任的划分可能会更加复杂。

四、建议

1. 保留证据：无论是对方的辱骂行为还是你的动手行为，都尽量保留相关证据，如现场监控录像、证人证言、聊天记录等。这些证据将有助于你维护自己的合法权益。
2. 协商解决：如果双方能够协商解决，可以尝试通过沟通、道歉、赔偿等方式达成和解。这有助于减少双方的损失和矛盾。
3. 寻求法律帮助：如果协商无果，或者你认为自己的权益受到了严重侵害，可以寻求法律帮助。你可以向我咨询具体的法律问题，或者向公安机关报案、向人民法院提起诉讼等。

在处理此类纠纷时，建议保持冷静和理性，避免情绪化的行为导致矛盾进一步升级。如果还有其他疑问或需要进一步的法律帮助，请随时向我咨询。