结论：您所描述的情形是否构成自卫（正当防卫），需结合具体细节判断，不能简单认定为自卫。以下从法律定义、构成要件、实务判断标准三个角度详细分析：
一、法律定义：正当防卫的构成要件
根据《中华人民共和国刑法》第二十条，正当防卫需同时满足以下条件：
- 不法侵害现实存在：对方的行为必须构成刑法意义上的“不法侵害”（如暴力攻击、威胁人身安全等），单纯辱骂一般不视为不法侵害，但若伴随推搡、持械威胁等肢体动作，可能升级为不法侵害。
- 不法侵害正在进行：防卫行为必须发生在侵害行为实施过程中，若对方已停止辱骂或离开现场，此时反击不构成正当防卫。
- 防卫意图正当：防卫目的须是保护自身或他人合法权益，而非报复或泄愤。若因被辱骂而情绪失控主动攻击，可能被认定为“防卫过当”或“互殴”。
- 防卫行为未明显超过必要限度：防卫手段需与侵害程度相适应。例如，对方仅辱骂未动手，您方直接拳脚相加导致对方重伤，可能构成防卫过当。
二、实务判断标准：辱骂与反击的边界
司法实践中，对“辱骂引发反击”是否构成正当防卫的审查极为严格，常见情形包括：
- 对方仅辱骂未动手：
若对方仅言语侮辱（如骂脏话、侮辱人格），未实施推搡、殴打等肢体行为，此时反击一般不被认定为正当防卫，可能按“互殴”处理，双方均需承担行政责任（如拘留、罚款）或刑事责任（如故意伤害罪）。
- 对方辱骂并伴随肢体威胁：
若对方辱骂时伴有推搡、持械威胁等动作，且您方有合理理由认为人身安全受到紧迫威胁，此时反击可能构成正当防卫。但需注意：
- 防卫手段需与威胁程度匹配（如对方空手推搡，您方使用刀具反击可能过当）；
- 需及时报警并保留证据（如现场监控、证人证言）。
- 对方停止侵害后继续反击：
若对方辱骂后离开现场，您方追赶并攻击，或对方已停止侵害后您方继续殴打，均不构成正当防卫，可能涉嫌故意伤害。
三、法律后果与建议
- 若构成正当防卫：无需承担刑事或行政责任，但需提供充分证据证明防卫的必要性（如对方持械、多人围攻等）。
- 若不构成正当防卫：
- 轻微伤：可能按《治安管理处罚法》处以拘留或罚款；
- 轻伤及以上：可能涉嫌故意伤害罪，需承担刑事责任（3年以下有期徒刑、拘役或管制）。
- 建议行动：
- 立即报警：由公安机关调查取证，固定现场情况；
- 保留证据：如录音、录像、伤情鉴定、证人联系方式等；
- 避免私下解决：防止被认定为“互殴”或“主动挑事”；
- 咨询律师：根据具体情节评估法律风险，制定应对策略。
总结：对方辱骂时您方打人是否算自卫，需结合对方行为是否构成不法侵害、侵害是否正在进行、防卫是否适度等要素综合判断。司法实践中对“辱骂引发反击”的认定较为严格，建议优先通过法律途径解决，避免情绪化反击导致法律风险。如有进一步细节需要分析，可直接向我咨询。