城镇开发边界外的违法建筑，一般由县级以上地方人民政府城乡规划主管部门或乡镇人民政府负责处理。以下是对此问题的详细分析：
法律依据与责任主体
《中华人民共和国城乡规划法》的相关规定：
- 根据该法第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
- 第六十五条则明确，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。
责任主体的确定：
- 在城镇开发边界外，如果违法建筑位于乡、村庄规划区内，那么乡镇人民政府是负责处理的主要主体。
- 如果违法建筑虽然位于城镇开发边界外，但并不属于乡、村庄规划区，或者涉及更复杂的规划问题，那么县级以上地方人民政府城乡规划主管部门将承担主要责任。
实际处理中的考虑因素
违法建筑的性质与影响：
- 违法建筑的性质（如是否用于居住、商业等）和其对规划实施的影响程度，将影响处理方式和处罚力度。
- 如果违法建筑对规划实施的影响较小，且可以通过改正措施消除影响，那么可能面临限期改正和罚款的处罚。
- 如果违法建筑对规划实施的影响较大，且无法采取改正措施消除影响，那么可能面临限期拆除或没收的处罚。
地方政府的执行力度与政策导向：
- 不同地方政府在处理违法建筑时可能存在不同的执行力度和政策导向。
- 有些地方政府可能更加注重规划的实施和城市的整体形象，因此对违法建筑的处理可能更加严格。
- 有些地方政府则可能更加注重社会稳定和民生问题，因此在处理违法建筑时可能更加谨慎和灵活。
法律建议
对于违法建筑的所有者或使用者：
- 如果您的建筑被认定为违法建筑，建议您积极配合政府部门的处理工作，按照要求限期改正或拆除。
- 如果您对处理决定有异议，可以依法申请行政复议或提起行政诉讼，维护自己的合法权益。
对于政府部门：
- 政府部门在处理违法建筑时，应当依法行使职权，确保处理决定的合法性和合理性。
- 政府部门还应当注重社会稳定和民生问题，避免因处理违法建筑而引发不必要的社会矛盾和冲突。
如果您在城镇开发边界外遇到违法建筑相关的问题，或者对处理决定有疑问，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。