如果对方发语音辱骂你，你完全有权要求赔偿。以下是我为你提供的详细解决方案：
首先，你可以立即报警，让警方介入并根据情节轻重采取相应的法律措施。这是保护自身权益的第一步，也是确保有官方记录的重要步骤。
接下来，根据你的具体情况，你可以采取以下几种方式要求赔偿：
情节轻微时：
- 虽然可以不追究法律责任，但你仍然可以通过提起民事诉讼的方式，主张赔偿以及要求辱骂者赔礼道歉。
- 准备起诉状，整理证据（如录音、聊天记录等），然后到辱骂者住所地法院立案庭立案。
若辱骂行为造成了一定后果：
- 你可以依法要求公安机关对辱骂者进行治安管理处罚。
- 同时，你仍然可以提起民事诉讼，要求赔偿损失和赔礼道歉。
情节恶劣，造成了重大影响时：
- 如果辱骂行为涉嫌构成侮辱罪，你可以依法追究其刑事法律责任。
- 在此过程中，你仍然可以提起民事诉讼，要求赔偿和赔礼道歉，并且可能获得更高的赔偿金额。
法律依据：
- 根据法律规定，民事主体享有名誉权，任何组织或者个人都不得以侮辱、诽谤等方式侵害他人的名誉权。
- 权利人有权要求停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。
证据准备：
- 在提起诉讼前，务必准备好充分的证据，包括录音、聊天记录、证人证言等，以证明辱骂行为的存在以及对你的名誉造成了损害。
行动建议：
- 在处理此类事件时，保持冷静和理智，不要与辱骂者发生进一步的冲突。
- 及时咨询专业律师（如我），获取更具体的法律建议和指导。
总之，面对他人的辱骂行为，你有权要求赔偿并维护自己的名誉权。根据情节的轻重，你可以选择不同的法律途径来维护自己的权益。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。