结论：在仅有对方辱骂你的证据的情况下，你仍然可以采取法律手段维护自己的权益，但具体维权方式和效果会因证据充分性、辱骂情节严重程度等因素而有所不同。以下是从不同角度为你详细分析的情况和建议：

一、法律背景与依据

根据《中华人民共和国民法典》的相关规定，人格权受到侵害的，受害人有权依照本法和其他法律的规定请求行为人承担民事责任。辱骂他人属于侵犯他人名誉权的行为，如果情节严重，还可能构成侮辱罪，需要承担刑事责任。不过，在大多数情况下，辱骂行为更侧重于民事侵权范畴。

二、证据收集与固定

1. 现有证据：你提到对方只有骂你的证据，这至少说明你已经有了一定的证据基础。这些证据可以是录音、录像、聊天记录、证人证言等，只要能够证明对方实施了辱骂行为即可。

2. 补充证据：为了增强你的维权力度，你可以尝试收集更多证据。例如，如果辱骂行为发生在公共场所，你可以寻找目击者并请求他们提供证言；如果辱骂行为是通过网络进行的，你可以保存相关的聊天记录、截图等。

三、维权途径与策略

1. 民事维权：

   • 协商和解：你可以尝试与对方进行协商，要求其停止辱骂行为并赔礼道歉。如果对方同意，可以签订书面和解协议以固定协商成果。
   • 民事诉讼：如果协商无果，你可以向法院提起民事诉讼，要求对方承担侵权责任。在诉讼过程中，你需要提供充分的证据证明对方实施了辱骂行为，并造成了你的名誉损害。法院将根据证据情况判决对方承担相应的民事责任，如赔礼道歉、赔偿损失等。

2. 刑事维权（如构成侮辱罪）：

   • 报警处理：如果辱骂行为情节严重，如公然侮辱他人且情节恶劣的，你可以向公安机关报案。公安机关将依法进行调查处理，如果构成犯罪，将依法追究对方的刑事责任。
   • 刑事自诉：在特定情况下，你也可以直接向法院提起刑事自诉，要求追究对方的刑事责任。但需要注意的是，刑事自诉的门槛相对较高，需要满足一定的条件。

四、可能面临的法律后果与风险

1. 对方可能承担的责任：如果法院认定对方实施了辱骂行为并构成了侵权或犯罪，对方可能需要承担赔礼道歉、赔偿损失等民事责任，甚至可能面临刑事处罚。

2. 你可能面临的风险：在维权过程中，你也需要注意保护自己的合法权益，避免因为维权行为不当而引发新的纠纷或风险。例如，在收集证据时要注意合法合规，避免侵犯他人的隐私权等合法权益。

五、建议与注意事项

1. 及时取证：一旦发现对方实施辱骂行为，应尽快收集并固定相关证据，以免证据灭失或难以收集。

2. 理性维权：在维权过程中要保持理性，避免因为情绪激动而采取过激行为或说出过激言论，以免引发新的纠纷或风险。

3. 寻求专业帮助：如果你对法律程序或维权策略不熟悉，可以寻求专业律师的帮助。律师将根据你的具体情况为你提供专业的法律建议和维权方案。

如果你有任何具体的法律问题或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况为你提供专业的法律建议和维权方案。