在双方发生纠纷时，辱骂对方的行为认定主要依据其是否构成对他人人格权的侵害，具体可从以下几个方面进行认定：
辱骂行为的性质：
- 辱骂行为通常表现为使用侮辱性、贬低性的语言对他人进行攻击，这种行为直接针对他人的名誉、尊严等人格权益。
- 根据《中华人民共和国民法典》中关于人格权的规定，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。因此，辱骂行为若具备侮辱性质，即可能构成对他人名誉权的侵害。
辱骂行为的场合与影响：
- 辱骂行为发生的场合也是认定其性质的重要因素。在公共场合或具有广泛传播可能的平台上进行辱骂，其影响范围更广，对他人名誉的损害也更为严重。
- 若辱骂行为导致被辱骂者社会评价降低，或者造成其精神上的痛苦、焦虑等不良后果，那么该行为更可能被认定为侵权行为。
辱骂行为的主观意图：
- 辱骂行为的主观意图也是认定其是否构成侵权的关键因素。若辱骂者出于故意，即明知自己的行为会损害他人名誉而仍然实施，那么其主观恶性更大，更可能被认定为侵权行为。
- 在某些情况下，即使辱骂者没有直接的故意，但因其过失（如未注意言辞的恰当性）导致他人名誉受损，也可能承担一定的法律责任。不过，在大多数情况下，过失导致的辱骂行为可能不构成严重的侵权行为，但仍需根据具体情况进行判断。
辱骂行为的法律后果：
- 若辱骂行为被认定为侵权行为，辱骂者可能需要承担民事责任，包括停止侵害、赔礼道歉、消除影响、恢复名誉以及赔偿损失等。
- 在某些严重情况下，辱骂行为还可能触犯《中华人民共和国刑法》中关于侮辱罪、诽谤罪的规定，从而构成犯罪行为，需要承担刑事责任。
针对辱骂行为的认定，建议如下：
- 在发生纠纷时，应尽量避免使用侮辱性、贬低性的语言进行攻击，以免构成对他人人格权的侵害。
- 若遭遇辱骂行为，被辱骂者应及时收集证据（如录音、录像、聊天记录等），以便在必要时维护自己的合法权益。
- 若认为辱骂行为构成侵权，被辱骂者可以向法院提起民事诉讼，要求辱骂者承担相应的法律责任。
在处理此类纠纷时，建议双方保持冷静、理性，通过合法途径解决争议。若你有任何关于侵权损害（人格权）方面的法律问题，都可以直接向我咨询。