结论：无论在任何情况下，因对方辱骂你的家人而动手打人都是不被法律允许的行为，可能构成违法甚至犯罪，需承担相应的法律责任。以下是对此问题的详细分析：
一、骂人与打人的法律性质
骂人：辱骂他人可能会侵犯他人的名誉权，但这主要属于民事纠纷范畴，通常通过道歉、赔偿等方式解决。虽然辱骂行为不道德且可能引发冲突，但它本身并不直接构成刑事犯罪。
打人：动手打人则可能构成违法甚至犯罪行为。根据伤害后果的严重程度，打人者将承担不同的法律责任。这包括违反治安管理处罚法以及可能构成故意伤害罪等刑事犯罪。
二、可能的法律后果
情节较轻：如果殴打行为导致对方轻微伤，一般属于违反治安管理的行为。依据《中华人民共和国治安管理处罚法》第四十三条的规定，将处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
情节较重：如果殴打行为致使对方轻伤及以上后果，则涉嫌构成故意伤害罪。根据《中华人民共和国刑法》第二百三十四条的规定，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。
三、特殊情况下的正当防卫
在极少数情况下，如果对方的行为已经严重威胁到你或你家人的生命安全，且你的打人行为是为了制止这种不法侵害而采取的正当防卫措施，那么根据《中华人民共和国刑法》第二十条的规定，你可能不负刑事责任。但这种情况非常严格，必须满足正当防卫的所有条件，包括不法侵害的现实性、紧迫性、防卫行为的必要性和相当性等。在大多数情况下，因对方辱骂而动手打人并不构成正当防卫。
四、合法维权途径
面对他人的辱骂，应当保持冷静和理智，通过合法途径来维护自己和家人的权益。具体建议如下：
要求对方停止侵害、赔礼道歉：这是最直接且和平的解决方式。你可以明确告诉对方，他们的辱骂行为是不恰当的，并要求他们停止这种行为并向你和你的家人道歉。
寻求相关部门帮助：如公安机关、调解机构等。他们可以介入调解，制止侵权行为，并依法对侵权者进行处理。特别是当辱骂行为升级为威胁或骚扰时，及时报警是非常重要的。
法律途径：如果情况严重，你可以考虑寻求法律援助或直接向法院提起诉讼。通过法律手段来维护自己和家人的合法权益，让辱骂者承担应有的法律责任。
五、建议与总结
无论在任何情况下，动手打人都是不可取的行为。我们应该尊重他人的权利和尊严，遵守法律法规，以和平、理性的方式解决争端和问题。面对他人的辱骂，应保持冷静和克制，通过合法途径来维护自己和家人的权益。如果你有任何法律问题或需要进一步的法律帮助，请随时向我咨询。