在发生冲突时，如果对方先辱骂并先动手打人，法律责任的判定需综合考虑多个因素。以下是对此情况的详细分析：
民事责任：
- 如果先动手打人行为给对方造成了人身伤害，如轻微伤，打人者需承担民事赔偿责任。赔偿通常包括医疗费、误工费、护理费、交通费等。
- 法律依据：《中华人民共和国民法典》第一千一百六十五条，因过错侵害他人民事权益造成损害的，应当承担侵权责任。
行政责任：
- 根据《中华人民共和国治安管理处罚法》第四十三条，殴打他人或故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款。情节较轻的，处五日以下拘留或者五百元以下罚款。
- 若存在结伙殴打、伤害残疾人、孕妇、不满十四周岁的人或六十周岁以上的人，或多次殴打、伤害他人等情形，处罚将更重。
刑事责任：
- 若先动手打人致对方轻伤及以上程度，可能构成故意伤害罪。根据《中华人民共和国刑法》第二百三十四条，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。致人重伤的，处三年以上十年以下有期徒刑；致人死亡或以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或死刑。
- 在无事生非、起哄闹事等扰乱社会秩序的情境下随意殴打他人，情节恶劣的，可能构成寻衅滋事罪。
正当防卫的考量：
- 正当防卫是指为制止正在进行的不法侵害而采取的防卫行为，且没有明显超过必要限度。
- 在正当防卫的情况下，先动手打人者可能不承担刑事责任，也可能在民事责任方面有所减轻。但正当防卫的认定需严格符合法律规定，不能滥用。
综合判断：
- 在实际案件中，法院或相关执法部门会综合考虑各种因素来判断先动手打人者的法律责任，包括但不限于双方的过错程度、冲突的起因、发展过程、造成的后果以及是否存在正当防卫等情节。
- 一般而言，率先采取行动者所承担的过失责任往往较重。然而，如果对方先行进行了侮辱或诽谤等不当行为且情节极为严重时，责任重心便未必完全归咎于率先行动之人。
综上所述，如果对方先辱骂并先动手打人，法律责任的判定需根据具体情况进行综合分析。建议遇到冲突时保持冷静，通过合法途径解决纠纷，避免使用暴力手段，以免承担不必要的法律责任。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。