针对您在公共场所被人辱骂，且对方无事实证据地指责您举报违建的情况，您可以采取以下措施来维护自己的合法权益：

1. 保持冷静，收集证据：

   • 在遭遇辱骂时，首先要保持冷静，避免与对方发生进一步的冲突。
   • 尽可能地收集现场证据，如使用手机录音、录像功能记录下对方的辱骂行为和指责内容。这些证据在后续的法律程序中可能起到关键作用。
   • 如果有目击者在场，可以请他们提供证言，以证明您的清白和对方的过错。

2. 向公安机关报案：

   • 根据《中华人民共和国治安管理处罚法》的相关规定，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
   • 您可以向当地公安机关报案，提供收集到的证据和目击者证言，要求公安机关对辱骂者进行调查处理。

3. 考虑提起民事诉讼：

   • 如果辱骂行为给您造成了名誉损害或其他经济损失，您可以考虑向法院提起民事诉讼，要求辱骂者承担民事责任。
   • 在提起诉讼前，建议您咨询专业律师，评估案件的胜诉可能性和赔偿金额，以便更好地维护自己的权益。

4. 针对无事实证据的指责进行澄清：

   • 对于对方无事实证据地指责您举报违建，您可以通过公开声明、社交媒体发布等方式进行澄清，以消除不良影响。
   • 如果对方持续散布不实信息，您还可以考虑向网络平台或相关部门投诉，要求删除不实信息并追究散布者的责任。

5. 加强自我保护意识：

   • 在日常生活中，要增强自我保护意识，避免在公共场所与他人发生争执或冲突。
   • 如果遇到类似情况，及时寻求周围人的帮助或报警处理，以确保自己的人身安全。

法律背景与建议：

• 人格权是公民的基本权利之一，包括名誉权、荣誉权等。任何侵犯他人人格权的行为都可能受到法律的制裁。
• 在遭遇辱骂或无事实证据的指责时，不要采取过激行为进行回应，而是应该通过合法途径来维护自己的权益。
• 如果您不确定如何处理此类情况，或者需要进一步的法律帮助，可以直接向我咨询，我将根据您的具体情况提供专业的法律建议。