针对“施工质量不合格拒不整改由哪个部门管”这一问题，结论前置：通常情况下，施工质量不合格且拒不整改的情况，主要由住房和城乡建设主管部门（或地方上的建设行政主管部门）负责监管和处理。以下从不同角度进行详细分析：
一、主管部门及职责
住房和城乡建设主管部门：
- 根据《中华人民共和国建筑法》及相关法律法规，住房和城乡建设主管部门（或地方上的建设行政主管部门）是负责建筑工程质量监管的主要部门。
- 当发现施工质量不合格且拒不整改时，该部门有权进行调查、取证，并依法对责任单位或个人进行处罚，包括但不限于罚款、责令停工整顿、吊销资质证书等。
其他相关部门：
- 在某些特定情况下，如涉及环保、安全等方面的问题，环保部门、安全生产监督管理部门等也可能根据相关法律法规对施工质量不合格且拒不整改的行为进行监管和处理。
- 但这些部门通常是在其职责范围内对特定方面的问题进行监管，而非全面负责建筑工程质量的监管。
二、处理流程
投诉与举报：
- 当发现施工质量不合格且拒不整改时，相关方（如业主、监理单位等）可以向住房和城乡建设主管部门进行投诉或举报。
- 投诉或举报时，应提供详细的证据材料，如照片、视频、检测报告等，以便主管部门进行调查。
调查与取证：
- 主管部门在接到投诉或举报后，会组织专业人员进行调查和取证。
- 调查过程中，主管部门有权要求责任单位或个人提供相关资料，并对其进行询问和质询。
处理与处罚：
- 根据调查结果，主管部门会依法对责任单位或个人进行处理和处罚。
- 处理方式可能包括责令整改、罚款、停工整顿、吊销资质证书等，具体取决于违法行为的严重程度和造成的后果。
三、法律建议
及时投诉与举报：
- 当发现施工质量不合格且拒不整改时，应及时向主管部门进行投诉或举报，以便主管部门及时介入处理。
保留证据材料：
- 在投诉或举报前，应尽可能保留相关的证据材料，如照片、视频、检测报告等，以便主管部门进行调查和取证。
配合主管部门调查：
- 在主管部门进行调查时，应积极配合其工作，提供必要的资料和协助，以便主管部门能够全面、准确地了解情况并作出处理决定。
寻求法律援助：
- 如果认为主管部门的处理决定存在不当之处，或者对处理结果不满意，可以寻求法律援助，通过法律途径维护自己的合法权益。
如有任何关于建设工程领域的法律问题或需要进一步的法律建议，请直接向我咨询。我会根据你的具体情况，提供专业、全面的法律服务。