是否构成诽谤罪，需根据具体情况判断，不能一概而论。以下从不同角度进行分析：
一、诽谤罪的构成要件
诽谤罪，是指故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉，情节严重的行为。其构成要件包括：
- 主观方面：必须是故意，即行为人明知自己的行为会造成他人名誉的损害，并且希望或者放任这种结果的发生。
- 客观方面：表现为行为人实施了捏造并散布某种虚构的事实，足以贬损他人人格、名誉，情节严重的行为。
- 客体：是他人的名誉权。
- 客观要件：情节严重，比如造成被害人精神失常、自杀等严重后果，或者多次捏造事实诽谤他人、捏造事实造成他人人格、名誉严重损害等。
二、针对您问题的具体分析
如果对方确实捏造了事实：
- 即对方声称“你的房子是他买的”这一说法完全是虚构的，没有事实依据。
- 并且对方故意将这一虚构的事实散布出去，导致您的名誉受到损害。
- 如果这种损害达到了情节严重的程度（如造成您社会评价显著降低、精神受到严重损害等），则对方可能构成诽谤罪。
如果对方没有捏造事实，或者情节不严重：
- 如果对方只是误传或者基于某种误解而说了这样的话，并没有故意捏造事实，那么不构成诽谤罪。
- 或者，即使对方捏造了事实，但并未散布，或者散布的范围很小，没有造成严重后果，也不构成诽谤罪。
三、法律建议
- 收集证据：如果您认为对方的行为构成了诽谤，首先需要收集相关证据，如对方散布虚假信息的聊天记录、录音、视频等。
- 与对方协商：在掌握一定证据后，可以尝试与对方进行协商，要求其停止侵害、赔礼道歉并赔偿损失。
- 寻求法律帮助：如果协商无果，您可以向公安机关报案或者向人民法院提起诉讼，要求追究对方的法律责任。
总结：是否构成诽谤罪，需要根据对方的行为是否符合诽谤罪的构成要件来判断。如果您认为对方的行为构成了诽谤，建议收集相关证据并寻求法律帮助。如有任何疑问或需要进一步的法律建议，请直接向我咨询。