结论：没有证据而散布他人妻子与他人有不正当关系的言论，可能构成诽谤罪，但具体是否构成犯罪，需结合言论的散布方式、影响范围及造成的后果等因素综合判断。
一、诽谤罪的构成要件
根据《中华人民共和国刑法》第二百四十六条的规定，诽谤罪是指故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉，情节严重的行为。构成诽谤罪，需要满足以下几个要件：
- 故意捏造事实：即行为人明知所散布的信息是虚假的，仍然故意进行散布。
- 散布虚构的事实：行为人通过言语、文字、图片等方式，将虚构的事实传播给第三人。
- 足以贬损他人人格，破坏他人名誉：所散布的信息必须具有贬损他人人格、破坏他人名誉的性质。
- 情节严重：这通常指的是散布范围广泛、造成严重后果或者多次实施诽谤行为等。
二、没有证据散布言论是否构成诽谤罪
若言论为虚构且故意散布：
- 如果行为人没有证据而故意散布他人妻子与他人有不正当关系的虚构事实，且该言论足以贬损他人人格、破坏他人名誉，同时情节严重（如散布范围广泛、造成严重后果等），则可能构成诽谤罪。
若言论虽无证据但非故意或情节轻微：
- 如果行为人只是无意中散布了没有证据的言论，或者该言论虽然无证据但并未造成严重后果，或者情节轻微，则可能不构成诽谤罪。但需要注意的是，即使不构成犯罪，也可能涉及民事侵权，需要承担相应的民事责任。
三、法律建议与后果
法律建议：
- 在没有确凿证据的情况下，应避免散布关于他人私生活的言论，尤其是可能贬损他人人格、破坏他人名誉的言论。
- 如果已经散布了此类言论，且可能构成诽谤罪，建议立即停止散布，并尽可能消除影响，如公开道歉、澄清事实等。
可能的法律后果：
- 如果构成诽谤罪，行为人可能面临刑事处罚，包括有期徒刑、拘役、管制或者剥夺政治权利等。
- 如果不构成犯罪，但涉及民事侵权，行为人可能需要承担民事责任，如赔偿损失、赔礼道歉等。
四、实际案例与判断
在实际案例中，法院会综合考虑言论的内容、散布方式、影响范围及造成的后果等因素来判断是否构成诽谤罪。例如，如果言论只是在一个小范围内传播，且未造成严重后果，法院可能认为不构成诽谤罪；但如果言论在社交媒体上广泛传播，且造成了严重的社会影响和后果，法院则可能认定构成诽谤罪。
总结：没有证据而散布他人妻子与他人有不正当关系的言论，可能构成诽谤罪，但具体是否构成犯罪需结合多种因素综合判断。因此，建议在没有确凿证据的情况下，避免散布此类言论，以免引发不必要的法律纠纷。如果有任何法律问题，可以直接向我咨询。