飞地上的违法建筑，其管理归属需根据具体情况和所在地的法律法规来确定，但一般来说，可能涉及以下几个部门的管理：
城乡规划部门：
- 职能依据：根据《中华人民共和国城乡规划法》的相关规定，城乡规划部门负责城市、镇规划区内建筑物、构筑物等工程建设的规划许可和管理工作。对于未取得建设工程规划许可证或未按许可证规定进行建设的违法建筑，城乡规划部门有权责令停止建设。
- 管理范围：如果飞地位于城市或镇规划区内，且违法建筑涉及未经规划许可擅自搭建的房屋或改变建筑物外立面等行为，那么城乡规划部门将是主要的管理部门。
城市管理综合行政执法部门：
- 职能依据：依据各地关于城市管理综合行政执法的相关规定，许多地方通过行政权力下放或综合执法改革，将城乡规划领域的部分行政处罚权交由城市管理综合行政执法部门行使。
- 管理范围：城市管理综合行政执法部门通常负责查处城市规划区内的各类违法建筑，特别是那些违反市容市貌、影响城市环境的违规搭建行为。如果飞地位于城市规划区内，且违法建筑属于此类情形，那么城市管理综合行政执法部门将可能承担管理职责。
乡镇人民政府：
- 职能依据：《中华人民共和国城乡规划法》明确规定，乡、镇人民政府负责乡、村庄规划区内违法建筑的管理。对于未依法取得乡村建设规划许可证或未按许可证规定进行建设的行为，乡镇人民政府有权责令停止建设、限期改正；逾期不改正的，可以拆除。
- 管理范围：如果飞地位于乡、村庄规划区内，且违法建筑涉及农村村民未经许可在宅基地外私自搭建的附属建筑或未按规划建设的农业设施等，那么乡镇人民政府将是主要的管理部门。
土地管理部门：
- 职能依据：根据《中华人民共和国土地管理法》的规定，土地管理部门负责查处涉及土地使用方面的违法建筑，如未经批准在农用地上建设非农业设施、非法占用耕地建房等行为。
- 管理范围：如果飞地上的违法建筑涉及土地使用方面的违规行为，如非法占用土地或改变土地用途等，那么土地管理部门将可能承担管理职责。
在实际操作中，建议根据违法建筑的具体情况和所在地的法律法规来确定具体的管理部门。例如，如果飞地位于城市规划区内且违法建筑涉及未经规划许可擅自搭建的房屋，那么应首先咨询城乡规划部门；如果违法建筑涉及违反市容市貌或影响城市环境，那么应咨询城市管理综合行政执法部门。
此外，如果飞地具有特殊的法律地位或管理规定（如属于特定开发区、保税区等），那么管理归属可能更加复杂。在这种情况下，建议咨询当地政府或相关部门以获取准确的指导和帮助。
最后，需要强调的是，无论违法建筑位于何处，都应遵守相关法律法规和规定。如果对违法建筑的管理归属有疑问或需要进一步的法律帮助，可以直接向我咨询。