结论：根据您描述的情况，对方无中生有多次辱骂您，若符合一定条件，您确实有可能以诽谤为由提起诉讼。不过，是否能构成法律上的诽谤，还需要结合具体情况进一步分析。
法律背景与解释：
诽谤的构成要件：
- 捏造事实：诽谤行为通常要求行为人捏造并散布虚构的事实。在您的情况下，如果对方确实是无中生有，即没有事实依据地对您进行辱骂，这可能构成捏造事实。
- 散布行为：诽谤还需要行为人将捏造的事实散布给第三人，导致您的社会评价降低。如果对方是在公开场合或者通过可以传播给第三人的方式（如社交媒体、短信群发等）对您进行辱骂，这可能构成散布行为。
- 损害后果：诽谤行为需要导致您的名誉受到损害，即您的社会评价降低。这通常需要通过证据来证明，如他人对您的评价变化、您因此遭受的精神痛苦等。
多次辱骂的影响：
- 对方多次对您进行辱骂，不仅可能加重了对您名誉的损害，还可能构成对您人格权的持续侵犯。在法律上，这种持续性的侵权行为可能会受到更严厉的制裁。
可能的法律后果：
- 如果对方的行为构成诽谤，您有权要求对方停止侵害、赔礼道歉、消除影响、恢复名誉，并可能要求赔偿精神损失等。
- 在极端情况下，如果对方的诽谤行为情节严重，还可能构成刑事犯罪，如诽谤罪，此时您可以向公安机关报案，要求追究对方的刑事责任。
法律建议：
收集证据：
- 您需要收集对方辱骂您的证据，如聊天记录、录音、视频、证人证言等。这些证据将有助于证明对方的行为构成诽谤。
评估损害：
- 评估对方辱骂行为对您造成的损害程度，包括名誉损害、精神痛苦等。这将有助于您确定要求对方赔偿的金额和方式。
考虑和解或诉讼：
- 在收集到足够证据并评估了损害程度后，您可以考虑与对方进行和解，要求对方停止侵害并赔偿损失。如果和解不成，您可以向法院提起诉讼，要求法院判决对方承担相应的法律责任。
寻求专业帮助：
- 由于诽谤案件可能涉及复杂的法律问题和证据收集，建议您在处理此类案件时寻求专业律师的帮助。我可以为您提供专业的法律咨询和代理服务，帮助您更好地维护自己的合法权益。
进一步思考：
- 在处理此类案件时，除了考虑法律途径外，您还可以考虑通过社交媒体平台、社区组织等渠道进行投诉和举报，以促使对方停止侵害行为并公开道歉。
- 同时，您也可以关注自己的心理健康，及时寻求心理支持和辅导，以减轻对方辱骂行为对您造成的精神压力。
如果您有任何进一步的疑问或需要进一步的法律帮助，请随时向我咨询。