在特定情况下，你可以起诉破坏你家庭的人。具体分析如下：
若对方行为构成法律上的侵权：如对方存在重婚（即有配偶又与他人结婚，或明知他人有配偶而与之结婚）或与他人同居（有配偶者与婚外异性持续稳定共同居住）等过错行为，这些行为侵犯了你的配偶权等合法权益，你有权向法院提起民事诉讼，要求对方承担侵权责任，包括停止侵权行为、赔偿损失等。赔偿范围涵盖你因对方行为所遭受的精神损害、物质损失等。
证据的重要性：在起诉时，你需要提供充分的证据来证明对方的行为以及对你家庭造成的损害。这些证据可能包括同居照片、聊天记录、转账记录等。证据越充足，对你的诉讼请求越有利。
法律程序与结果：具体的法律程序和最终结果需要根据实际情况来确定。在提起诉讼前，建议咨询专业律师，了解详细的法律程序和可能的法律后果。
特殊情况：如果对方的行为仅涉及道德层面的破坏家庭，而并未构成法律上的侵权，那么你可能无法通过法律途径直接起诉对方。在这种情况下，你可以考虑通过其他方式（如调解、协商等）来解决问题。
综上所述，能否起诉破坏你家庭的人取决于对方的行为是否构成法律上的侵权以及你是否能提供充分的证据来证明这一点。如果你有相关法律问题或需要进一步的法律建议，请直接向我咨询。