高空作业违法的管理部门主要取决于违法行为的性质和具体情形，一般可能涉及应急管理部门、住房和城乡建设部门以及市场监督管理部门等。以下是对此问题的详细分析：
应急管理部门：
- 根据《中华人民共和国安全生产法》的相关规定，应急管理部门负责安全生产综合监督管理工作，包括对高空作业等危险作业的安全监管。
- 如果高空作业违法涉及安全生产方面的问题，如未采取必要的安全防护措施、未进行安全教育培训等，那么应急管理部门将是主要的管理和处罚部门。
住房和城乡建设部门：
- 住房和城乡建设部门负责建筑行业的监管工作，包括对建筑施工现场的安全管理。
- 如果高空作业违法发生在建筑施工领域，如未按照建筑安全规范进行高空作业、未取得相应的施工资质等，那么住房和城乡建设部门将有权进行管理和处罚。
市场监督管理部门：
- 市场监督管理部门负责市场秩序的监管工作，包括对特种设备的安全监管。
- 如果高空作业违法涉及特种设备的使用，如未取得特种设备使用许可证、未定期进行特种设备检验等，那么市场监督管理部门将有权进行管理和处罚。
在实际操作中，如果高空作业违法行为同时涉及多个方面，如既涉及安全生产问题又涉及建筑施工问题，那么相关部门可能会进行联合执法，共同对违法行为进行管理和处罚。
建议：
- 如果您发现高空作业违法行为，首先可以观察违法行为的性质和具体情形，初步判断可能涉及哪个部门的管理范围。
- 然后，您可以向相关部门进行举报或投诉，提供详细的违法情况和证据，以便相关部门能够及时进行调查和处理。
- 同时，作为高空作业的从业者或相关单位，应当严格遵守相关法律法规和安全规范，确保高空作业的安全进行，避免违法行为的发生。
如果您在处理高空作业违法问题时遇到任何法律疑问或需要进一步的法律帮助，请随时向我咨询，我会根据您的具体情况提供专业的法律意见。