没有夜间施工许可证继续施工的，主要由县级以上人民政府生态环境主管部门（如环保局）或城市管理综合行政执法部门进行处罚。以下是详细分析：
一、处罚主体与执法部门
- 主要执法部门：根据《中华人民共和国环境噪声污染防治法》及相关法规，县级以上人民政府生态环境主管部门（如环保局）或城市管理综合行政执法部门是夜间施工违规行为的主要执法部门。
- 协同部门：住建、交通等部门在各自职责范围内也会配合监管，确保施工活动符合相关规定。
二、处罚情形与标准
未经批准擅自夜间施工
- 法律依据：《噪声污染防治法》第七十七条第（二）项明确规定，未按照规定取得证明，在噪声敏感建筑物集中区域夜间进行产生噪声的建筑施工作业的，将受到处罚。
- 处罚措施：责令改正，并处1万元以上10万元以下的罚款；若拒不改正，可以责令暂停施工。
未按许可要求施工
- 情形：即使取得了夜间施工许可证，但如果超出许可时间、范围或未落实降噪措施，同样会受到处罚。
- 处罚措施：视情节轻重处以警告或罚款，并可能撤销许可证。
特殊区域或时段违规
- 敏感区域：在居民区、学校、医院等噪声敏感建筑物集中区域夜间施工，将受到更严格的监管。
- 加重处罚：罚款上限可提高至20万元，并可能面临停业整顿等更严厉的处罚。
拒不整改或多次违法
- 法律后果：对于拒不整改或多次违法的施工单位，将按日连续处罚，即每日罚款金额与原处罚相当，直至违法行为消除。
三、合规建议
- 提前申请许可：如果因工艺需求必须夜间施工，应提前向环保部门提交申请材料，包括施工方案、降噪措施等，以获得夜间施工许可证。
- 公示与沟通：在施工前，应通过公告、社区通知等方式告知周边居民，以减少对居民生活的影响。
- 落实降噪措施：使用低噪声设备、设置隔音屏障、合理安排施工时间等，以降低施工噪声对周边环境的影响。
- 保留证据：保存好许可文件、监测报告等材料，以备检查时证明自己的合规性。
四、典型案例参考
- 案例1：某建筑工地未办理夜间施工许可证擅自作业，被处以5万元罚款，并责令暂停施工直至取得合法许可。
- 案例2：施工单位虽持有许可证但未落实降噪措施，导致周边居民投诉，被责令停工整改并罚款3万元。
总结来说，没有夜间施工许可证继续施工是违法行为，将受到县级以上人民政府生态环境主管部门或城市管理综合行政执法部门的处罚。为了确保施工活动的合法性和合规性，建议施工单位提前申请许可、公示与沟通、落实降噪措施并保留好相关证据。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。