在此类情况下，责任的大小需根据具体情节和双方的过错程度来判断，无法直接断定哪方责任更大，但通常涉及以下几种责任认定情况：

1. 未经同意进入家门的行为：

   • 这属于非法侵入住宅的行为，违反了《中华人民共和国民法典》中关于人格权保护的相关规定，特别是关于住宅不受侵犯的权利。未经住宅主人同意，非法闯入他人住宅，或者经要求退出而无理拒不退出的，都可能构成侵权。
   • 责任认定：此行为本身即具有过错，入侵者需承担相应的侵权责任，包括但不限于停止侵害、赔礼道歉、赔偿损失等。

2. 言语挑衅的行为：

   • 言语挑衅可能构成对他人名誉权、人格尊严的侵犯，同样违反了《中华人民共和国民法典》中关于人格权保护的规定。
   • 责任认定：挑衅者需根据其言语的恶劣程度、对主人造成的精神损害程度等，承担相应的民事责任，如赔礼道歉、赔偿精神损失等。

3. 主人进行拖拽驱赶的行为：

   • 主人有权保护自己的住宅不受非法侵犯，但在行使这一权利时，应当遵守法律，不得超过必要的限度。拖拽驱赶如果超出了合理防卫的范围，可能构成对入侵者的人身权侵犯。
   • 责任认定：
     • 如果拖拽行为在合理防卫范围内：即主人为了制止非法侵入行为，采取了必要的、适度的防卫措施，那么主人通常不需要承担责任。
     • 如果拖拽行为超出了合理防卫范围：如使用了过度暴力，导致入侵者受伤，那么主人可能需要承担一定的民事责任，甚至刑事责任，具体取决于伤害的严重程度和主人的过错程度。

综合分析：

• 在此类纠纷中，责任的大小取决于双方的具体行为、过错程度以及造成的后果。
• 如果入侵者的行为较为轻微，而主人的拖拽行为导致了严重的后果，那么主人的责任可能会相对较大。
• 反之，如果入侵者的行为恶劣，且主人的拖拽行为在合理防卫范围内，那么入侵者的责任会更大。

建议：

• 在遇到此类情况时，双方应尽量保持冷静，通过合法途径解决纠纷，如报警、协商等。
• 如果纠纷无法解决，可以寻求法律援助或向法院提起诉讼，由法院根据具体情况进行责任认定和判决。

如有任何进一步的问题或需要更详细的法律建议，请直接向我咨询，我会根据你的具体情况提供专业的法律意见。