结论：对方声称要起诉你骂其“小三”这一行为，是否构成法律上的侵权或犯罪，需根据具体情况判断。若对方确实存在不正当男女关系，你的辱骂行为可能不构成侵权；若对方不存在该行为，你的辱骂可能构成名誉权侵权，对方有权起诉要求你承担相应法律责任。
分析说明：
若对方确实存在不正当男女关系：
- 在这种情况下，你的辱骂行为虽然可能不恰当，但通常不构成法律上的侵权。因为名誉权侵权要求行为人实施了侮辱、诽谤等行为，且这些行为导致了他人的社会评价降低。若对方确实存在不正当男女关系，你的辱骂可能只是对其行为的道德评价，而非无端诽谤。
- 然而，即使对方存在不正当行为，辱骂他人也不是一种恰当的解决方式。建议通过更理性、合法的方式表达自己的不满和诉求。
若对方不存在不正当男女关系：
- 在这种情况下，你的辱骂行为可能构成名誉权侵权。因为你在没有事实依据的情况下，公开辱骂他人为“小三”，这可能导致对方的社会评价降低，损害其名誉权。
- 根据《中华人民共和国民法典》的相关规定，名誉权受到侵害的，受害人有权要求侵权人停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。因此，对方有权起诉你，要求你承担相应的法律责任。
法律建议：
- 保持冷静和理性：无论对方是否存在不正当行为，辱骂他人都不是解决问题的最佳方式。建议保持冷静和理性，通过合法途径表达自己的诉求。
- 收集证据：如果对方确实存在不正当行为，且你打算采取法律行动，建议收集相关证据，如聊天记录、照片、视频等，以证明对方的行为。
- 咨询专业律师：如果你对法律问题存在疑问或不确定如何处理，建议咨询专业律师。我可以为你提供婚姻家庭领域的法律咨询和帮助，根据你的具体情况给出更具体的法律建议。
后续行动指南：
- 如果对方已经起诉你，建议你及时委托律师应诉，准备相关证据和材料，以维护自己的合法权益。
- 如果对方尚未起诉，但你担心可能面临法律纠纷，也可以提前咨询律师，了解自己的法律风险和应对策略。
总之，辱骂他人并不是解决问题的恰当方式。在处理类似纠纷时，建议保持冷静和理性，通过合法途径表达自己的诉求。如果你有任何法律问题或需要进一步的法律帮助，请随时向我咨询。