结论：对方来家里打人出去的行为是否犯法，需根据具体情节判断，可能涉及非法侵入住宅罪、故意伤害罪或治安管理处罚。以下从不同角度详细分析：
一、非法侵入住宅罪角度
法律背景：
- 根据《中华人民共和国刑法》第二百四十五条，非法侵入他人住宅的，处三年以下有期徒刑或者拘役。这里的“非法侵入”指的是未经住宅主人同意，强行进入或者拒不退出他人住宅的行为。
具体分析：
- 如果对方未经允许，强行进入你家，即使后续没有实施其他暴力行为，也可能构成非法侵入住宅罪。
- 若对方是在你同意或默许的情况下进入，但后续因争吵而动手，则不构成非法侵入住宅罪，但可能涉及其他罪名。
二、故意伤害罪角度
法律背景：
- 根据《中华人民共和国刑法》第二百三十四条，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。
具体分析：
- 如果对方在争吵过程中动手打人，且造成了身体伤害（如轻微伤、轻伤、重伤等），则可能构成故意伤害罪。
- 伤害程度的鉴定需由专业机构进行，根据鉴定结果来确定具体的法律责任。
三、治安管理处罚角度
法律背景：
- 根据《中华人民共和国治安管理处罚法》第四十三条，殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
具体分析：
- 如果对方的行为尚未达到故意伤害罪的立案标准（即未造成轻伤及以上伤害），但确实存在殴打或故意伤害他人身体的行为，则可能受到治安管理处罚。
- 处罚的轻重会根据具体情节（如伤害程度、是否初犯、是否有悔过表现等）来决定。
四、综合建议
保护自身安全：
- 在争吵或冲突中，首先要确保自己的人身安全，避免与对方发生直接肢体冲突。
收集证据：
- 如果可能，尽量收集相关证据（如现场照片、视频、证人证言等），以便后续维权。
及时报警：
- 如果对方的行为已经构成违法或犯罪，应立即报警，让警方介入处理。
咨询专业律师：
- 如果你对法律程序或维权方式有疑问，可以直接向我咨询，我会根据你的具体情况提供专业的法律建议。
最后，每个人的情况都是独特的，上述分析仅供参考。如果你或你身边的人遇到了类似的问题，建议尽快咨询专业律师以获取更具体的法律帮助。