别人上门辱骂且驱赶不走的行为，确实可能构成违法，具体分析如下：

1. 从人格权保护的角度：

   • 根据《中华人民共和国民法典》的相关规定，自然人享有名誉权、隐私权等人格权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权，也不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。上门辱骂他人，显然是对他人名誉权的侵害，如果辱骂内容涉及他人隐私，还可能同时侵害隐私权。
   • 在这种情况下，受害者有权要求辱骂者停止侵害、赔礼道歉，并可以要求赔偿因辱骂行为造成的精神损害等损失。如果辱骂行为情节严重，还可能构成对他人人格权的严重侵害，受害者可以向法院提起民事诉讼，要求辱骂者承担相应的法律责任。

2. 从治安管理处罚的角度：

   • 根据《中华人民共和国治安管理处罚法》的规定，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。上门辱骂他人，且驱赶不走，如果情节严重，如辱骂时间较长、辱骂内容恶劣、对受害者造成较大影响等，辱骂者可能面临治安管理处罚。

3. 从刑事犯罪的角度：

   • 在极端情况下，如果辱骂行为情节特别严重，如长期辱骂、辱骂内容极其恶劣、对受害者造成严重精神损害或身体伤害等，辱骂者还可能构成侮辱罪等刑事犯罪。根据《中华人民共和国刑法》的相关规定，以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。

法律建议：

• 如果遭遇别人上门辱骂且驱赶不走的情况，首先应保持冷静，尽量避免与辱骂者发生直接冲突。
• 可以尝试通过录音、录像等方式收集证据，以便后续维权。
• 及时向公安机关报案，由公安机关依法处理辱骂者。
• 如果辱骂行为对自身造成了较大损害，可以考虑向法院提起民事诉讼，要求辱骂者承担相应的法律责任。

可能后果：

• 辱骂者可能面临治安管理处罚，如拘留、罚款等。
• 如果辱骂行为构成刑事犯罪，辱骂者可能面临刑事处罚，如有期徒刑、拘役等。
• 受害者有权要求辱骂者停止侵害、赔礼道歉，并可以要求赔偿因辱骂行为造成的损失。

如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。