结论：在您先动手打人，但对方家人过来拉架也对您动手的情况下，是否可以追究对方家人的责任，需根据具体情况来判断，主要包括对方家人的行为是否构成正当防卫或防卫过当，以及是否存在其他侵权行为。
分析：
正当防卫：
- 根据《中华人民共和国民法典》的相关规定，正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。如果对方家人在拉架过程中，为了制止您的不法侵害行为（即您先动手打人），而对您采取了合理的防卫措施，且没有超过必要的限度，那么他们的行为可能构成正当防卫，您无法追究他们的责任。
防卫过当：
- 如果对方家人在防卫过程中，超过了必要的限度，造成了您不应有的损害，那么他们的行为可能构成防卫过当。在这种情况下，您虽然可以追究他们的部分责任，但也需要考虑到他们防卫的初衷和情境。防卫过当的责任追究通常较为复杂，需要具体分析防卫行为与损害结果之间的因果关系以及防卫行为的合理性。
其他侵权行为：
- 如果对方家人的行为并非出于防卫目的，而是故意对您进行伤害，或者他们的行为超出了拉架的合理范围，构成了对您人身权利的侵犯，那么您可以追究他们的侵权责任。这通常需要根据具体证据来判断，如现场监控录像、目击者证言等。
建议：
- 收集证据：在发生此类事件后，您应尽快收集相关证据，如现场照片、视频、目击者证言等，以便在需要时证明自己的主张。
- 报警处理：如果事件造成了较为严重的后果，或者您认为对方家人的行为构成了犯罪，您应及时报警，让警方介入调查。
- 咨询律师：在处理此类纠纷时，建议您咨询专业律师的意见。律师可以根据您的具体情况，为您提供法律建议和帮助，确保您的权益得到妥善维护。
后续思考：
- 在处理此类纠纷时，应保持冷静和理性，避免情绪化的行为导致事态进一步恶化。
- 尊重法律和他人的权利是构建和谐社会的基础。在遇到纠纷时，应寻求合法、合理的解决方式，而不是采取暴力或报复行为。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。