您有权要求对方停止侵害并赔偿精神损失，以下是具体分析和操作建议：

一、明确法律依据与侵权性质

1. 名誉权保护
   根据《民法典》第1024条，民事主体享有名誉权，禁止以侮辱、诽谤等方式侵害。电话辱骂属于直接侵害名誉权的行为，若辱骂内容涉及贬低人格（如辱骂“无能”“卑鄙”等），即构成违法。

2. 精神损害赔偿请求权
   依据《民法典》第1183条，若辱骂行为导致您出现严重精神损害（如长期失眠、焦虑、抑郁，甚至需就医治疗），您有权要求侵权人赔偿精神损失。
   示例：若您因辱骂产生持续头痛、无法正常工作，且医院诊断为“应激性心理障碍”，即可主张赔偿。

二、固定关键证据（决定维权成败的核心）

需收集以下证据形成完整链条：

1. 电话录音

   • 录音需清晰可辨，能明确对方身份及辱骂内容（如“你就是个废物”）。
     
   • 若对方使用虚拟号码，可联系运营商调取通话记录，或通过短信、社交账号进一步确认身份。

2. 精神损害后果证明

   • 医院诊断书（如“焦虑症”“抑郁症”诊断证明）。
     
   • 心理咨询记录（需保留缴费凭证及咨询师资质证明）。
     
   • 证人证言（如同事、家人证明您因辱骂出现情绪异常）。

3. 其他辅助证据

   • 若辱骂通过短信、微信延续，保存文字记录。
     
   • 若对方在公共场合（如社交平台）继续辱骂，截图保存。

三、赔偿数额的确定标准

法院会综合以下因素判决赔偿金额（无固定公式，但可参考范围）：

示例：若您因辱骂住院治疗1周，产生医疗费5000元、心理咨询费2000元，且法院认定精神损害严重，最终赔偿可能在1万-3万元之间。

四、维权路径选择

1. 协商解决（推荐优先尝试）

   • 联系对方或其家属，出示证据（如录音片段），要求书面道歉并赔偿。
     
   • 可通过居委会、村委会或人民调解委员会协助调解，降低冲突风险。

2. 法律途径（协商无果时）

   • 起诉流程：
     
     1. 撰写起诉状（需写明事件经过、证据清单、赔偿请求）。
        
     2. 向被告住所地或侵权行为地法院提交材料（身份证、证据复印件等）。
        
     3. 法院立案后，等待开庭审理（通常3-6个月结案）。
        
   • 报案条件：
     若辱骂行为伴随威胁（如“我要杀了你”），可能构成《治安管理处罚法》第42条的“侮辱他人”或“威胁人身安全”，可向公安机关报案，处5-10日拘留并罚款。

五、注意事项

1. 避免以暴制暴：切勿回骂或威胁对方，否则可能从“受害者”变为“侵权人”。
   
2. 及时取证：录音、截图等证据需在纠纷发生后尽快固定，避免被删除。
   
3. 心理疏导优先：若精神损害严重，建议先就医治疗，再通过法律维权。

若您已收集部分证据或需要进一步指导（如起诉状模板、证据清单格式），可直接向我咨询，我会根据您的具体情况提供详细方案。