违反施工时间的管理部门主要取决于施工的具体性质和地点，但通常情况下，这类问题主要由城市管理部门或环保部门负责监管。以下是从不同角度的详细分析：
一、城市管理部门
- 职责范围：城市管理部门通常负责城市市容和环境卫生的管理，包括施工噪音、扬尘等污染的监管。如果施工时间违反了当地规定的施工时间限制，造成了噪音扰民或其他环境问题，城市管理部门有权进行查处。
- 法律依据：根据《中华人民共和国环境噪声污染防治法》等相关法律法规，城市管理部门有权对违反施工时间规定的行为进行处罚，包括责令改正、罚款等。
二、环保部门
- 职责范围：环保部门主要负责环境保护和污染防治工作，包括施工噪音、扬尘等污染的监测和治理。如果施工时间违反了环保部门规定的施工时间限制，或者施工活动对环境造成了严重影响，环保部门有权进行干预。
- 法律依据：同样依据《中华人民共和国环境噪声污染防治法》等环保相关法律法规，环保部门可以对违反施工时间规定的行为进行处罚，并要求施工单位采取整改措施。
三、其他相关部门
- 建设行政主管部门：在某些情况下，如果施工时间违反了建设行政主管部门制定的施工管理规定或施工许可证上的时间限制，建设行政主管部门也有权进行查处。
- 公安机关：如果施工噪音扰民严重，且施工单位拒不改正，公安机关也可能根据《中华人民共和国治安管理处罚法》等相关法律法规，对施工单位或相关责任人进行处罚。
四、实际操作建议
- 了解当地规定：施工单位应首先了解当地关于施工时间的具体规定，确保施工活动在合法的时间范围内进行。
- 与相关部门沟通：如果因特殊情况需要延长施工时间，施工单位应提前与相关部门沟通并获得批准，以避免不必要的法律纠纷。
- 采取降噪措施：在施工期间，施工单位应采取有效的降噪措施，减少施工噪音对周边居民的影响，以维护良好的社区关系。
若您遇到违反施工时间的问题，或者因此产生了纠纷，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。