结论：在对方出轨并导致您人流三次后回归家庭的情况下，您能否起诉他，取决于您想要追究的具体法律责任以及您手中掌握的证据情况。以下是从不同角度进行的分析：
一、从离婚损害赔偿的角度
法律依据：
- 根据《中华人民共和国民法典》第一千零九十一条的规定，有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：（一）重婚；（二）与他人同居；（三）实施家庭暴力；（四）虐待、遗弃家庭成员；（五）有其他重大过错。
分析：
- 出轨行为本身并不直接等同于上述法律条款中的“重婚”或“与他人同居”，但如果出轨行为严重到构成“有其他重大过错”，且该过错是导致离婚的原因，那么您作为无过错方，有权在离婚时请求损害赔偿。
- 人流三次可能被视为对您身体和精神上的重大伤害，如果能够证明这一伤害是由对方的出轨行为直接导致的，且该伤害构成了“重大过错”的一部分，那么您请求损害赔偿的诉求可能会得到法院的支持。
建议：
- 收集证据：包括出轨的证据（如聊天记录、照片、视频等）、人流的医疗记录、以及出轨行为与您身体和精神伤害之间的因果关系证明等。
- 咨询律师：在准备起诉前，建议咨询专业律师，评估证据的充分性和诉求的合理性。
二、从一般侵权责任的角度
法律依据：
- 根据《中华人民共和国民法典》第一千一百六十五条的规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。
分析：
- 如果出轨行为被视为一种过错行为，且该行为直接导致了您人流三次的身体和精神伤害，那么您可能有权要求对方承担侵权责任。
- 然而，这种诉求的成立需要证明出轨行为与您人流之间的直接因果关系，以及对方存在过错。
建议：
- 同样需要收集充分的证据来证明出轨行为与您人流之间的因果关系以及对方的过错。
- 考虑到侵权责任的认定可能较为复杂，建议咨询专业律师以获取更具体的法律建议。
三、从实际操作的难度和风险角度
分析：
- 无论是离婚损害赔偿还是一般侵权责任，都需要您提供充分的证据来支持您的诉求。
- 在实际操作中，收集证据可能面临一定的困难，特别是当对方不配合或试图掩盖出轨行为时。
- 此外，即使证据充分，法院也可能根据具体情况对赔偿金额进行裁量，不一定能完全满足您的期望。
建议：
- 在决定起诉前，务必充分考虑证据的收集难度和诉讼的风险。
- 可以尝试与对方进行协商，看是否能够达成和解或赔偿协议，以避免诉讼带来的时间和精力消耗。
最后，我理解这对您来说是一个非常痛苦和复杂的经历。在处理这类问题时，请务必保持冷静和理性，寻求专业律师的帮助以维护您的合法权益。如果您有任何进一步的疑问或需要法律帮助，请随时向我咨询。