在面对知道配偶有外遇但缺乏直接证据的情况时，可以按照以下思路处理：
- 冷静收集间接证据
首先需明确，法律上认定“外遇”通常需要证明配偶与第三者存在持续、稳定的亲密关系。直接证据（如亲密照片、视频、书面承认）虽最有力，但间接证据（如聊天记录、通话记录、共同出行记录、证人证言等）通过合理组合也能形成证据链。建议：
- 保存配偶与第三者的微信、短信、邮件等文字沟通记录（注意保留原始载体，如手机）；
- 记录配偶异常行为的时间、地点、频率（如频繁深夜外出、突然改变穿着风格等）；
- 寻找可能的证人（如邻居、同事看到配偶与第三者共同出入的证言）；
- 若涉及共同财产转移（如给第三者转账、购买房产），可调取银行流水、房产登记记录等。
注意：收集证据需合法，不得通过窃听、偷拍等侵犯他人隐私的方式获取，否则可能被认定为非法证据而排除。
考虑协商或调解
若希望挽回婚姻，可尝试与配偶坦诚沟通，表达感受与底线，观察其态度。若配偶愿意回归家庭，可共同寻求婚姻咨询或心理辅导；若配偶拒绝沟通或继续外遇，可考虑通过亲友、居委会等第三方调解，争取达成书面协议（如保证书、财产分配约定），为后续可能的法律程序留存证据。
法律途径：离婚或损害赔偿
若决定结束婚姻，可分两种情况处理：
- 协议离婚：双方就财产分割、子女抚养达成一致，签订离婚协议并办理登记。此时，外遇证据虽非必需，但可作为协商筹码，争取更多财产权益或子女抚养权。
- 诉讼离婚：若协商不成，可向法院起诉。根据《民法典》第1079条，法院判决离婚的标准是“感情确已破裂”。外遇虽非法定离婚理由，但若能证明配偶与他人同居（持续、稳定地共同居住），可构成“感情破裂”的依据。此外，若配偶存在重大过错（如与他人同居、重婚），无过错方可依据《民法典》第1091条主张离婚损害赔偿（包括物质和精神损害赔偿）。
关键点：诉讼中需提供足够证据证明配偶与第三者的关系达到“同居”程度（如长期共同居住的租房合同、邻居证言、监控录像等），仅凭猜测或零散证据难以被采信。
- 心理调适与未来规划
无论选择何种方式，外遇事件对个人情感和信任的冲击巨大，建议：
- 寻求心理咨询，处理情绪创伤；
- 梳理家庭财产状况，避免配偶在婚姻危机期间转移资产；
- 提前规划子女抚养问题，减少对孩子的伤害。
总结：缺乏直接证据时，需通过合法方式收集间接证据，结合协商、调解或法律途径维护权益。若需进一步分析证据效力或制定具体策略，可直接向我咨询。