结论：您所说的“对方说家人出事不重要，我祝他家也出事”这种行为，在一般情况下，可以被视为一种带有恶意或攻击性的言论，有可能构成人身攻击，但具体是否构成法律意义上的人身攻击，还需结合具体情境和后果来判断。
一、从日常语境和道德层面分析
在日常交流和道德评判中，当对方表达了对家人出事的轻视态度时，您以“祝他家也出事”作为回应，这种言论显然带有恶意和诅咒的成分。它不仅可能伤害对方的感情，还可能引发双方的冲突和矛盾。从道德层面讲，这种行为是不恰当的，因为它违背了基本的尊重和友善原则。
二、从法律层面分析
人身攻击的法律定义：
- 人身攻击通常指的是对他人身体、名誉、隐私等人格权益的侵害行为。在法律上，这可能涉及到侮辱、诽谤、侵犯隐私等罪名。
您的言论是否构成人身攻击：
- 若仅从言论内容看：您的“祝他家也出事”虽然带有恶意，但并未直接对对方进行侮辱或诽谤，也没有侵犯其隐私。因此，在严格意义上，它可能不直接构成法律上的人身攻击。
- 若结合具体情境和后果看：如果您的这种言论导致了对方精神上的严重伤害，或者引发了实际的冲突和损害，那么这种行为就可能被视为一种间接的人身攻击，甚至可能涉及其他法律责任，如寻衅滋事等。
法律后果：
- 如果您的言论被认定为构成人身攻击或相关违法行为，您可能需要承担民事责任，如赔偿对方因此遭受的损失；在严重情况下，还可能面临行政处罚或刑事责任。
三、建议与提醒
避免使用恶意言论：
- 在日常交流中，无论遇到什么情况，都应尽量保持冷静和理性，避免使用恶意或攻击性的言论。这不仅有助于维护良好的人际关系，还能避免不必要的法律纠纷。
尊重他人权益：
- 尊重他人的身体、名誉、隐私等人格权益是每个人的基本义务。在表达自己的观点和情感时，应充分考虑对方的感受和权益，避免侵犯或伤害他人。
寻求合法途径解决问题：
- 如果与对方存在矛盾或纠纷，应通过合法途径来解决问题，如协商、调解、诉讼等。避免采取过激或违法的行为来发泄情绪或报复对方。
如果您在类似情况下遇到了法律问题或需要进一步的法律帮助，请直接向我咨询。我会根据您的具体情况，为您提供专业、全面的法律建议。