结论：若没有证据去证明诽谤行为，且该行为导致对方离婚，一般情况下直接起诉诽谤并要求赔偿或承担其他责任会面临较大困难。但并非完全不能采取法律行动，关键在于后续能否收集到充分证据，并明确起诉诉求后向有管辖权的人民法院提起诉讼。以下从多个角度为你详细分析：
一、证据的重要性
在法律程序中，证据是认定事实、支持诉求的关键。若没有证据去证明诽谤行为的存在，法院将难以认定诽谤事实，进而难以支持你的诉求。因此，收集证据是首要且至关重要的步骤。证据可以包括书面材料（如信件、邮件、短信、社交媒体聊天记录等）、视听资料（如录音、录像）以及证人证言等。这些证据需要能够证明诽谤言论的具体内容、传播范围以及对你或对方婚姻关系造成的影响。
二、可能的法律行动
尝试收集证据后起诉：
- 如果你后续能够收集到充分证据，证明诽谤行为的存在以及该行为与对方离婚之间的因果关系，你可以向有管辖权的人民法院提起诉讼，要求诽谤者承担民事责任，如停止侵害、赔礼道歉、赔偿损失（包括精神损害赔偿和物质损失赔偿）等。
- 若诽谤情节严重，构成诽谤罪，你还可以要求追究诽谤者的刑事责任。但需注意，刑事责任的追究需要满足更高的证明标准，且通常需要公安机关的介入和侦查。
考虑其他法律途径：
- 如果无法直接证明诽谤行为，但能够证明对方离婚是由于其他原因（如感情破裂、第三者介入等），你可以考虑通过协商、调解等方式解决离婚后的相关问题，如财产分割、子女抚养等。
- 若对方在离婚过程中存在过错（如重婚、与他人同居、实施家庭暴力等），你可以在离婚诉讼中主张对方承担过错责任，并要求相应的赔偿。
三、法律建议
保持冷静和理性：
- 在整个过程中，保持冷静和理性至关重要。避免因为情绪激动而做出不理智的行为，如公开指责、报复等，这些行为可能进一步加剧矛盾，甚至触犯法律。
咨询专业律师（此处为符合人设的表述调整：向我咨询）：
- 在采取任何法律行动之前，建议你向我咨询，以获取更具体的法律建议和帮助。我可以根据你的具体情况，为你制定合适的法律策略，并指导你如何收集证据、撰写起诉状等。
关注证据收集：
- 无论你选择哪种法律途径，证据收集都是关键。你可以尝试通过合法手段获取相关证据，如保存书面材料、录制视听资料、寻找证人等。同时，要注意证据的合法性和有效性，避免使用非法手段获取证据。
四、可能的法律后果
- 如果你能够收集到充分证据并成功起诉诽谤者，法院可能会判决诽谤者承担民事责任或刑事责任，从而维护你的合法权益。
- 如果你无法收集到充分证据或法院认定诽谤事实不成立，你的诉求可能无法得到支持。此时，你需要考虑其他法律途径或接受现实，通过协商、调解等方式解决相关问题。
总之，没有证据去诽谤导致对方离婚的情况下直接起诉会面临较大困难，但并非完全不能采取法律行动。关键在于后续能否收集到充分证据，并明确起诉诉求后向有管辖权的人民法院提起诉讼。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。