结论：别人对自己造谣，即使没有直接证据，也可能构成违法，具体需根据造谣行为的情节轻重来判断，可能涉及民事、行政甚至刑事责任。

详细分析：

1. 民事层面：

   • 法律依据：根据《中华人民共和国民法典》第一千零二十四条，民事主体享有名誉权，任何组织或个人不得以侮辱、诽谤等方式侵害他人的名誉权。
   • 责任承担：若造谣行为损害了他人的名誉权，则构成民事侵权行为。被侵权人有权要求造谣者停止侵害、恢复名誉、消除影响、赔礼道歉，并赔偿损失（包括精神损害赔偿）。例如，如果有人在网络上编造虚假信息损害你的商业信誉或个人名誉，你可以通过民事诉讼要求对方承担上述责任。

2. 行政层面：

   • 法律依据：根据《中华人民共和国治安管理处罚法》第四十二条第二项，公然侮辱他人或捏造事实诽谤他人的，可处五日以下拘留或五百元以下罚款；情节较重的，处五日以上十日以下拘留，并可并处五百元以下罚款。
   • 实际应用：如果有人在小区内、工作场所或公共场所散布关于你的谣言，导致你的生活或工作受到严重干扰，公安机关可根据情况对造谣者进行治安处罚。

3. 刑事层面：

   • 侮辱罪、诽谤罪：
     • 法律依据：根据《中华人民共和国刑法》第二百四十六条，以暴力或其他方法公然侮辱他人或捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或剥夺政治权利。该罪一般属告诉才处理的犯罪，但严重危害社会秩序和国家利益的除外。
     • 情节严重的判断标准：包括但不限于同一诽谤信息被点击、浏览次数达到五千次以上，或被转发次数达到五百次以上；造成被害人或其近亲属精神失常、自残、自杀等严重后果；二年内曾因诽谤受过行政处罚，又诽谤他人等情形。
   • 编造、故意传播虚假信息罪：
     • 法律依据：如果造谣行为涉及编造虚假的险情、疫情、灾情、警情，并在信息网络或其他媒体上传播，或明知是上述虚假信息而故意传播，严重扰乱社会秩序的，还可能构成编造、故意传播虚假信息罪，根据《中华人民共和国刑法》第二百九十一条之一第二款，处三年以下有期徒刑、拘役或者管制；造成严重后果的，处三年以上七年以下有期徒刑。

建议：

• 收集证据：尽管你提到没有直接证据，但尽量收集与造谣行为相关的间接证据，如聊天记录、社交媒体截图、证人证言等，这些证据在后续的法律程序中可能起到关键作用。
• 及时报警或起诉：根据造谣行为的情节轻重，你可以选择向公安机关报案或直接向人民法院提起民事诉讼。如果造谣行为涉嫌犯罪，公安机关将依法进行侦查，并可能将案件移送检察机关审查起诉。
• 保持冷静：在面对造谣行为时，保持冷静和理性至关重要。避免与造谣者发生直接冲突，以免事态升级。同时，积极寻求法律帮助，维护自己的合法权益。

总结：造谣行为不仅可能侵犯他人的名誉权，还可能违反法律法规，甚至构成犯罪。因此，建议公众在日常生活中遵守法律法规，尊重他人的名誉权和人格尊严，避免造谣传谣。如果你或他人遭遇了造谣行为，请及时寻求法律帮助，维护自己的合法权益。