对于红线以外的违法建筑，处罚方式主要依据相关法律法规，结合违法建筑的性质、情节及社会危害程度等因素综合判定，具体处罚措施包括责令限期拆除、罚款、没收违法所得或实物，以及行政拘留等。以下是对此问题的详细分析：
责令限期拆除：
- 根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
- 对于红线以外的违法建筑，如果其建设违反了城乡规划，且无法通过改正措施消除影响，那么相关部门将依法责令限期拆除。
罚款：
- 除了责令限期拆除外，对于违法建筑的建设者，相关部门还可以根据违法情节的轻重，处以一定数额的罚款。罚款的数额通常根据违法建筑的建设工程造价、违法所得等因素确定。
没收违法所得或实物：
- 在某些情况下，如果违法建筑的建设者通过违法建设获得了违法所得，或者违法建筑本身具有较大的价值，相关部门可以依法没收其违法所得或实物。
行政拘留：
- 对于情节特别严重的违法建筑行为，如拒不执行拆除决定、阻碍执法等，相关部门还可以依法对建设者进行行政拘留。
在处理红线以外的违法建筑时，相关部门会遵循以下程序：
- 调查取证：相关部门会对违法建筑进行调查取证，包括现场勘查、询问当事人等，以确定违法建筑的性质、情节及社会危害程度。
- 作出处罚决定：根据调查取证的结果，相关部门会依法作出处罚决定，并告知当事人处罚的事实、理由及依据。
- 执行处罚决定：如果当事人对处罚决定没有异议或者异议不成立，相关部门将依法执行处罚决定，包括责令限期拆除、罚款、没收违法所得或实物等。
建议：如果您面临红线以外违法建筑的问题，或者对相关处罚措施有疑问，可以直接向我咨询。我会根据您的具体情况，为您提供专业、详细的法律解答。