结论：在一般情况下，即使存在经济纠纷，对方也不可以出言伤害你的家人，否则可能构成侵权，需要承担相应的法律责任。
分析如下：
一、人格权保护的法律基础
根据《中华人民共和国民法典》的相关规定，自然人享有生命权、身体权、健康权、姓名权、肖像权、名誉权、荣誉权、隐私权等人格权。这些权利是自然人作为人所应享有的基本权利，受到法律的严格保护。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权等人格权。
二、经济纠纷与人格权侵害的区分
经济纠纷是双方在经济活动中因权利义务关系产生的争议，如合同纠纷、债务纠纷等。而人格权侵害则是指对他人生命权、身体权、健康权、名誉权等人格权的侵犯。经济纠纷本身并不构成对他人人格权的侵害，双方应当通过合法途径解决纠纷，如协商、调解、仲裁或诉讼等。
三、出言伤害家人的法律后果
名誉权侵害：如果对方出言侮辱、诽谤你的家人，导致其社会评价降低，可能构成对名誉权的侵害。根据法律规定，受害人有权要求侵权人承担停止侵害、恢复名誉、消除影响、赔礼道歉等民事责任。
精神损害赔偿：在名誉权等人格权受到严重侵害的情况下，受害人还可能要求侵权人承担精神损害赔偿责任。精神损害赔偿的数额会根据侵权人的过错程度、侵害的具体情节、后果以及受害人精神损害的程度等因素综合确定。
刑事责任：在极端情况下，如果对方的言语行为构成侮辱罪或诽谤罪等刑事犯罪，还可能面临刑事责任的追究。
四、建议与措施
保持冷静与理性：面对经济纠纷和对方的言语攻击，首先要保持冷静和理性，避免情绪化回应导致矛盾升级。
收集证据：如果对方出言伤害你的家人，及时收集相关证据，如录音、录像、证人证言等，以便在后续的法律程序中维护自己的合法权益。
寻求法律帮助：如果经济纠纷无法通过协商解决，或者对方的行为已经构成对家人人格权的侵害，建议及时寻求专业律师的帮助，通过法律途径维护自己的合法权益。
后续行动建议：如果你或你的家人正面临这样的情况，建议先尝试与对方进行沟通，明确表达你的立场和要求。如果沟通无果，或者对方的行为已经严重影响到你和家人的正常生活，那么请毫不犹豫地寻求法律帮助。有问题可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。