针对您提出的“在没有证据情况下说他人破坏他的家庭怎么处理”这一问题，我会从法律角度和实际操作层面为您详细解答。

首先，从法律层面来看，没有直接证据而仅凭口头指控他人破坏家庭，在法律上确实难以得到支持。因为在我国，“破坏家庭”并非一个明确的法定案由，若要以此为由提起诉讼，必须提供相应的证据来支持自己的主张。这包括但不限于对方与第三人的往来记录、暧昧聊天截图、以夫妻名义共同生活的证据（如涉及重婚）、持续稳定共同居住的证据（如涉及与他人同居）等。这些证据需要能够直接或间接地证明对方存在破坏家庭的行为。

若您目前没有直接证据，但怀疑他人破坏了您的家庭，我建议您采取以下措施：

1. 收集间接证据：

   • 留意对方与您配偶之间的通讯记录，包括电话、短信、社交软件互动等，尝试从中挖掘线索。
   • 寻找可能的证人，如知晓对方与您配偶存在不当关系的亲朋好友，并获取他们的客观真实陈述。
   • 注意保存任何可能证明对方存在破坏家庭行为的材料，如照片、视频等。

2. 明确破坏家庭的具体行为与事实：

   • 在收集证据的同时，您需要明确对方具体实施了哪些破坏家庭的行为，以及这些行为如何影响了您的家庭。
   • 例如，对方是否与您配偶有不正当关系，是否导致了您家庭的破裂等。

3. 谨慎起诉，尽量多收集证据：

   • 在没有充分证据的情况下起诉，法院认定事实会非常谨慎，且您的诉讼请求可能因证据不足而不被支持。
   • 因此，我建议您在起诉前尽量多收集相关证据，并向法院详细说明情况与理由。

4. 考虑其他解决途径：

   • 如果您目前无法收集到足够的证据来支持诉讼，您可以考虑通过调解、协商等方式与对方或您配偶进行沟通，尝试解决问题。
   • 此外，您还可以寻求心理咨询或家庭治疗等帮助，以改善家庭关系，缓解矛盾。

最后，我想强调的是，在没有证据的情况下指控他人破坏家庭是不负责任的，也可能对他人造成不必要的伤害。因此，在采取任何行动之前，请务必确保您有充分的证据来支持自己的主张。如果您需要进一步的法律帮助或建议，我建议您咨询专业的律师或法律机构。