明确结论：在绝大多数情况下，对方骂你，你打对方都是犯法的。但在极少数特定且严格的条件下，可能存在不构成犯罪的情形，不过这并不意味着行为完全合法，仍可能需承担行政责任或民事责任。以下从不同角度详细分析：
正当防卫角度
- 构成正当防卫的情形：
- 根据《刑法》第二十条，为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。例如，对方不仅辱骂你，还突然动手对你进行暴力攻击，你为了保护自己的人身安全，在合理的限度内进行反击，将对方打伤。这种情况下，你的行为可能构成正当防卫，不构成犯罪。
- 关键要点：不法侵害必须正在进行，即对方已经开始实施侵害行为，而不是仅停留在辱骂阶段；防卫行为必须具有必要性，即没有其他合理的方式可以避免侵害；防卫行为必须在合理的限度内，不能明显超过必要限度造成重大损害。比如，对方只是轻微推搡你并辱骂，你却使用凶器将对方打成重伤，这就超过了必要限度，不属于正当防卫。
- 不构成正当防卫的情形：
- 如果对方只是辱骂你，没有进一步实施暴力攻击等不法侵害行为，你直接动手打对方，这显然不属于正当防卫。因为此时不存在正在进行的不法侵害，你的行为属于主动攻击，侵犯了对方的人身权利，可能构成故意伤害罪或违反《治安管理处罚法》受到行政处罚。
特殊责任豁免角度
- 精神病人等无责任能力人情形：
- 如果对方是精神病人等无责任能力人，在发病期间对你进行辱骂，你打对方一般也不能完全免责。虽然对方因无责任能力不承担刑事责任，但你的打人行为仍然侵犯了对方的人身权利。如果造成对方身体伤害，你可能需要承担民事赔偿责任，根据伤害程度还可能面临行政处罚。例如，对方是一名间歇性精神病患者，在发病时对你辱骂，你一时气愤将对方打伤，你需要赔偿对方的医疗费、护理费等费用，若伤情较重，还可能被处以拘留和罚款。
- 职务行为等特殊情形：
- 如果是执法人员等在执行职务过程中，对方辱骂执法人员，执法人员打对方同样不合法。执法人员应当依法履行职责，通过合法的方式制止对方的违法行为，而不是采取暴力手段。例如，警察在执法时，嫌疑人对其进行辱骂，警察动手打嫌疑人，这不仅违反了执法纪律，还可能构成滥用职权等犯罪行为，同时也要承担相应的民事赔偿责任。
法律后果角度
- 行政责任：
- 根据《治安管理处罚法》第四十三条，殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。所以，即使你认为对方骂你你有理由动手，但只要动手打人，就可能面临行政拘留和罚款的处罚。
- 民事责任：
- 打人行为导致他人身体受到伤害的，需承担民事赔偿责任。根据《民法典》第一千一百七十九条，侵害人应赔偿受害人医疗费、护理费、交通费、营养费、住院伙食补助费等为治疗和康复支出的合理费用，以及因误工减少的收入。若造成残疾或死亡，还需赔偿相应的辅助器具费、残疾赔偿金、丧葬费和死亡赔偿金等。比如，你将对方打伤，对方住院治疗花费了医疗费、护理费等费用，还因受伤无法工作产生了误工费，这些费用都需要你进行赔偿。
- 刑事责任：
- 若打人行为导致他人轻伤以上，将构成故意伤害罪。根据《刑法》第二百三十四条，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑；致人死亡或以特别残忍手段致人重伤造成严重残疾的，将面临十年以上有期徒刑、无期徒刑或死刑的严厉惩罚。例如，你因对方辱骂而动手，将对方打成轻伤，就可能被判处三年以下有期徒刑、拘役或者管制。
法律建议：在日常生活中，遇到对方辱骂的情况，一定要保持冷静和理智，通过合法、合理的方式解决问题。可以要求对方停止辱骂，向相关部门投诉举报，或者通过法律途径维护自己的合法权益。如果对方的行为已经严重侵犯了你的人格权，你可以收集证据，向法院提起民事诉讼，要求对方承担民事责任。若对方的行为涉嫌违法犯罪，及时报警处理。如果你有相关的法律问题，可以直接向我咨询。