结论：邻居的辱骂行为可能涉及侵犯您的人格权，具体可能构成名誉权侵权，您有权要求其停止侵害、赔礼道歉，并可能要求赔偿损失。同时，若其违法修房行为也对您造成了损害，您还可以就房产相关问题主张权利。

一、关于辱骂行为的法律分析

1. 名誉权侵权：

   • 法律依据：根据《中华人民共和国民法典》第一千零二十四条，民事主体享有名誉权。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。
   • 行为认定：邻居辱骂您“有种你去把外墙落雨管掰掉”，若该言论在公开场合或对您造成负面影响，且足以降低您的社会评价，则可能构成对您名誉权的侵害。
   • 法律后果：您有权要求邻居停止侵害、赔礼道歉，并可能根据实际损害情况要求赔偿损失。若邻居拒不履行，您可以向人民法院提起诉讼。

2. 其他人格权：

   • 除了名誉权，若辱骂行为还涉及对您其他人格权的侵害，如隐私权、肖像权等（虽本例中不直接涉及），您同样有权依法主张权利。

二、关于违法修房行为的法律分析

1. 相邻权：

   • 法律依据：根据《中华人民共和国民法典》第二百八十八条，不动产的相邻权利人应当按照有利生产、方便生活、团结互助、公平合理的原则，正确处理相邻关系。
   • 行为认定：若邻居违法修房，如未经批准擅自扩建、改变房屋结构等，且该行为对您造成了妨碍或损害（如影响采光、通风、排水等），则可能构成对您相邻权的侵害。
   • 法律后果：您有权要求邻居停止侵害、排除妨碍、恢复原状，并可能要求赔偿损失。若邻居拒不履行，您可以向相关部门投诉或向人民法院提起诉讼。

2. 规划与建设法规：

   • 邻居违法修房还可能违反城市规划、建设等相关法规，您有权向当地城市规划部门或建设管理部门投诉，要求相关部门进行查处。

三、综合建议

1. 收集证据：

   • 对于辱骂行为，您可以尝试录音、录像或寻找目击证人等方式收集证据。
   • 对于违法修房行为，您可以拍摄照片、视频或收集相关规划、建设文件等证据。

2. 协商与调解：

   • 在收集到一定证据后，您可以尝试与邻居进行协商，寻求和解或调解解决纠纷。

3. 法律途径：

   • 若协商无果，您可以向人民法院提起诉讼，要求邻居承担相应的法律责任。
   • 同时，您也可以向相关部门投诉邻居的违法修房行为，要求相关部门进行查处。

四、注意事项

• 在处理此类纠纷时，请保持冷静和理性，避免采取过激行为或言语攻击，以免加剧矛盾或引发新的法律问题。
• 若您对法律程序或具体法律条款不熟悉，建议咨询专业律师（即我本人，汪小波律师，专注于经济纠纷、侵权纠纷等领域）以获取更详细的法律指导和帮助。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。