结论：是否构成诽谤，关键在于对方指控你“婚内出轨”是否有事实依据。若对方毫无根据地宣扬你婚内出轨，则可能构成诽谤；但若有确切证据证明你确实存在相关行为（尽管你自认为是精神出轨），则不构成诽谤。
一、构成诽谤的情形
诽谤是指故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉的行为。若对方只是毫无根据就宣扬你婚内出轨，这种虚假陈述会损害你的声誉，降低你在社会上的评价，符合诽谤行为的构成要件。在这种情况下，你有权要求对方停止侵害、恢复名誉、消除影响、赔礼道歉，并可主张赔偿损失；情节严重的，还可能追究对方的刑事责任。
举例说明：假设你的同事或邻居在没有任何证据的情况下，四处传播你婚内出轨的谣言，导致你的名誉受损，家人和朋友对你产生误解，那么这种行为就可能构成诽谤。
二、不构成诽谤的情形
如果对方有确切证据能证明你确实存在婚内出轨的事实（尽管你自认为是精神出轨，但法律上对出轨的认定可能包括精神层面和肉体层面），并向他人如实陈述，则不构成诽谤。因为此时对方并非在捏造事实，而是在陈述一个真实发生的情况。
法律背景：在法律上，对于“出轨”的认定并没有一个绝对统一的标准，它可能因地区、文化、个人观念等因素而有所不同。但一般来说，出轨指的是在婚姻关系存续期间，一方与第三者发生不正当的男女关系。这种关系可能包括肉体上的出轨，也可能包括精神上的出轨（如与第三者产生深厚的感情依赖等）。然而，在司法实践中，对于精神出轨的认定和证明往往较为困难，因此更多地还是以肉体出轨作为判断依据。但无论如何，如果对方能够提供确凿的证据证明你存在出轨行为（无论是精神还是肉体），那么其陈述就不构成诽谤。
三、建议与后续行动
收集证据：如果你认为自己被诽谤了，那么首先要做的就是收集证据。这些证据可以包括对方传播谣言的聊天记录、录音、视频等。同时，你也可以收集一些能够证明你清白的证据，如你的行踪记录、与配偶的沟通记录等。
与对方沟通：在收集到足够的证据后，你可以尝试与对方进行沟通，要求其停止传播谣言并公开道歉。如果对方愿意配合，那么问题可能得到妥善解决。
寻求法律帮助：如果对方拒绝配合或沟通无果，那么你可以考虑寻求法律帮助。你可以向法院提起名誉权纠纷诉讼，要求对方承担相应的法律责任。在诉讼过程中，你需要提供充分的证据来证明对方的诽谤行为以及你因此遭受的损失。
注意精神出轨的法律风险：虽然你自认为是精神出轨，但也要意识到这种行为可能对婚姻关系造成的损害以及潜在的法律风险。如果精神出轨进一步发展为肉体出轨或其他违法行为，那么你将可能面临更加严重的法律后果。
如果你在处理此类问题时有任何疑问或需要进一步的法律帮助，请随时向我咨询。