遇到半夜施工扰民还骂人的情况，你可以按照以下步骤来处理：

1. 了解相关法律法规：

   • 根据《中华人民共和国环境噪声污染防治法》的相关规定，夜间（一般指22:00至次日6:00）在城市市区噪声敏感建筑物集中区域内，是禁止进行产生环境噪声污染的建筑施工作业的，抢修、抢险作业和因生产工艺上要求或者特殊需要必须连续作业的除外，且这类特殊情况需公告附近居民并采取降噪措施。
   • 同时，根据《中华人民共和国治安管理处罚法》第五十八条，违反关于社会生活噪声污染防治的法律规定，制造噪声干扰他人正常生活的，会受到警告或罚款的处罚。若施工方还骂人，可能还涉及侮辱、诽谤等侵权行为，可依据相关法律规定追究其责任。

2. 与施工方沟通协商：

   • 主动沟通：首先尝试与施工方进行友好沟通，了解其施工原因和计划，表达自己对噪音和辱骂行为的困扰，要求其采取降噪措施、调整施工时间，并停止辱骂行为。
   • 记录证据：在沟通过程中，建议录音或录像以保留证据，特别是施工方辱骂的言行，这些证据对于后续可能的投诉或法律途径非常重要。

3. 向相关部门投诉举报：

   • 环保部门：负责环境噪声污染的监管工作。你可以拨打12369环保举报热线或前往当地环保局官网进行在线举报，提供详细的施工地点、时间、噪音情况及辱骂行为等信息。
   • 城管部门：也负有对夜间施工噪音的监管职责。可以拨打当地城管部门的投诉电话进行举报，同样提供详细的信息和证据。
   • 公安机关：对于严重干扰他人正常生活的夜间施工噪音及辱骂行为，可以向公安机关报案。公安机关会根据情况依法处理，包括警告、罚款等。

4. 寻求法律援助：

   • 咨询律师：如果投诉举报后问题仍未得到解决，且噪音和辱骂行为严重影响到了你的正常生活和工作，可以咨询专业律师（即我，孟令波律师），了解自己的权益和可行的法律途径。
   • 提起诉讼：在律师的指导下，你可以向人民法院提起诉讼，要求施工方停止侵害、排除妨碍、赔偿损失，并就辱骂行为要求其承担相应的法律责任。

5. 其他应对措施：

   • 使用耳塞或耳罩：在噪音无法避免的情况下，可以使用耳塞或耳罩等个人防护用品来减轻噪音对自己的影响。
   • 调整作息时间：尽量调整自己的作息时间，避免在噪音最大的时间段内休息或睡眠，以减少噪音对生活的影响。

总结来说，遇到半夜施工扰民还骂人的情况，你应首先了解相关法律法规，然后与施工方沟通协商并记录证据，接着向相关部门投诉举报，若问题仍未解决可寻求法律援助，并采取其他应对措施来减轻噪音对自己的影响。希望这些建议能对你有所帮助，如有任何法律问题，欢迎直接向我咨询。