结论：在对方没有证据的情况下骂你骗他钱三年，对方可能涉及诽谤罪或名誉权侵权，但具体是否构成犯罪或侵权，需结合实际情况判断。以下从不同角度为你详细分析：
一、可能涉及的罪名或侵权行为
诽谤罪：
- 法律定义：根据《中华人民共和国刑法》第二百四十六条，诽谤罪是指故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉，情节严重的行为。
- 构成要件：
- 捏造事实：对方必须捏造了关于你骗钱的事实，且这一事实是虚构的。
- 散布行为：对方通过言语、文字等方式将这一虚构事实传播给第三人。
- 情节严重：通常指造成你社会评价显著降低、精神受到严重损害等后果。
- 证据要求：由于对方没有证据，若其无法证明所骂内容为真，且你能够证明其言论为虚构，则对方可能构成诽谤。但需注意，诽谤罪一般属于自诉案件，即需要你自行向法院提起诉讼。
名誉权侵权：
- 法律定义：根据《中华人民共和国民法典》第一千零二十四条，民事主体享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。
- 构成要件：
- 存在侮辱、诽谤等侵权行为。
- 侵权行为导致你名誉受损。
- 证据要求：与诽谤罪类似，你需要证明对方存在侮辱、诽谤行为，且这一行为导致了你名誉的受损。由于对方没有证据支持其言论，你更容易证明其言论的虚构性。
二、实际判断中的关键点
言论的真实性：
- 若对方无法证明其言论为真，而你能够证明其言论为虚构，则对方更可能构成诽谤或名誉权侵权。
- 若对方能够提供一定证据（尽管可能不充分）支持其言论，则情况会更为复杂，需要具体分析。
言论的传播范围：
- 言论的传播范围越广，对你名誉的损害可能越大，对方构成诽谤罪或名誉权侵权的可能性也越大。
- 若对方仅在私下场合对你进行辱骂，且未造成广泛传播，则可能不构成犯罪或严重侵权。
你的实际损害：
- 你需要证明对方的言论对你造成了实际损害，如社会评价降低、精神受到损害等。
- 损害的严重程度也是判断对方是否构成犯罪或侵权的重要因素。
三、建议与行动
收集证据：
- 尽可能收集对方辱骂你的证据，如录音、录像、证人证言等。
- 保留所有与对方交流的记录，以证明对方言论的虚构性和对你的损害。
咨询律师：
- 在采取任何法律行动前，建议咨询专业律师（即我，刘亘煜律师），以了解你的具体权益和可能的法律后果。
- 律师可以帮助你评估案件的可行性，制定合适的法律策略。
考虑法律途径：
- 若对方行为确实构成诽谤罪或名誉权侵权，你可以考虑向法院提起诉讼或报警处理。
- 在诉讼过程中，你需要提供充分的证据证明对方的侵权行为和你的实际损害。
最后，面对他人的无端辱骂和诽谤，你应保持冷静，通过合法途径维护自己的权益。如果你有任何进一步的疑问或需要法律帮助，请直接向我咨询。