结论：在没有确凿证据的情况下，仅凭主观猜测或怀疑说别人“带绿帽子”（即配偶出轨），通常不会构成法律上的犯罪。但这种行为可能涉及名誉权侵权等民事责任，具体取决于行为的方式和后果。

一、刑事责任角度

1. 诽谤罪：

   • 诽谤罪是指故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉，情节严重的行为。
   • 若在没有证据的情况下，公开散布关于他人配偶出轨的虚假信息，且该信息足以贬损他人人格、破坏他人名誉，且情节严重（如造成被害人精神严重受损、社会评价显著降低等），则可能构成诽谤罪。
   • 但需注意，诽谤罪的成立需要满足“情节严重”的条件，且通常要求散布的虚假信息达到一定的传播范围和影响程度。

2. 侮辱罪：

   • 侮辱罪是指使用暴力或者以其他方法，公然贬损他人人格，破坏他人名誉，情节严重的行为。
   • 若通过言语、行为等方式公然侮辱他人，如辱骂、嘲笑他人配偶出轨等，且情节严重，则可能构成侮辱罪。
   • 侮辱罪同样需要满足“情节严重”的条件，且通常要求侮辱行为具有公然性。

3. 一般情况：

   • 在大多数情况下，仅凭主观猜测或怀疑说别人“带绿帽子”，并未达到上述犯罪的构成要件，因此不会构成刑事犯罪。

二、民事责任角度

1. 名誉权侵权：

   • 无论是否构成刑事犯罪，若在没有证据的情况下散布关于他人配偶出轨的虚假信息，损害了他人的名誉权，则可能承担民事责任。
   • 名誉权侵权通常要求行为人存在过错（如故意或过失），且该过错行为导致了他人名誉的损害。
   • 受害者可以要求侵权者停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。

2. 隐私权侵权：

   • 若散布的信息涉及他人的隐私（如婚姻状况、性生活等），且该信息未经他人同意被公开，则可能构成隐私权侵权。
   • 隐私权侵权同样要求行为人存在过错，并导致了他人隐私的泄露和损害。

三、建议与提醒

1. 尊重他人隐私和名誉：

   • 在没有确凿证据的情况下，不要随意猜测或散布关于他人配偶出轨的信息。
   • 尊重他人的隐私和名誉是每个人的基本道德义务，也是维护社会和谐稳定的重要基础。

2. 谨慎处理婚姻家庭问题：

   • 婚姻家庭问题涉及复杂的情感和法律关系，应谨慎处理。
   • 若怀疑配偶出轨，应通过合法途径（如沟通、咨询、调查等）来解决问题，而不是采取散布谣言等不当行为。

3. 寻求法律帮助：

   • 若因散布虚假信息而面临法律纠纷或民事责任，建议及时寻求专业律师的帮助。
   • 律师可以根据具体情况提供法律咨询、代理诉讼等法律服务，帮助维护合法权益。

最后，若你在日常生活中遇到类似问题或有其他法律疑问，可以直接向我咨询。我会根据你的具体情况提供专业的法律意见和帮助。