违规设立广告牌的处罚主要依据相关法律法规进行，具体处罚措施包括责令改正、罚款，甚至可能面临更严重的法律后果。以下从不同角度详细分析：
一般违规情况：
- 根据《中华人民共和国广告法》的相关规定，如果广告牌的设置违反了广告内容、形式、位置等方面的规定，但并未造成严重后果或影响公共安全的，通常由市场监督管理部门责令停止发布广告，对广告主处二十万元以上一百万元以下的罚款，情节严重的，并可以吊销营业执照，由广告审查机关撤销广告审查批准文件、一年内不受理其广告审查申请；对广告经营者、广告发布者，由市场监督管理部门没收广告费用，处二十万元以上一百万元以下的罚款，情节严重的，并可以吊销营业执照。不过，对于广告牌设立这一具体行为，更直接相关的可能是城市管理方面的法规。
- 在城市管理领域，违规设立广告牌可能违反了《城市市容和环境卫生管理条例》或地方性的城市管理法规。这些法规通常规定，未经批准擅自设置广告牌的，由城市人民政府市容环境卫生行政主管部门或者其委托的单位责令其停止违法行为，限期清理、拆除或者采取其他补救措施，并可处以罚款。罚款的数额根据地方性法规的不同而有所差异，但一般都会明确一个具体的罚款范围，如几百元至几千元不等。
严重违规或造成后果的情况：
- 如果违规设立的广告牌存在安全隐患，如结构不稳定、遮挡视线等，可能危及公共安全，那么除了上述的行政处罚外，还可能涉及《中华人民共和国刑法》中的相关罪名，如以危险方法危害公共安全罪等。当然，这种情况相对较为极端，需要广告牌的设置行为确实构成了对公共安全的严重威胁。
- 另外，如果违规设立广告牌的行为同时违反了其他法律法规，如破坏了文物、历史建筑或自然景观等，那么还可能面临其他相关法律法规的处罚。
实际操作中的考虑因素：
- 在实际操作中，执法部门在决定处罚措施时，会综合考虑多种因素，如违规行为的性质、情节、后果以及广告主或设置者的态度等。如果广告主或设置者能够积极配合执法部门的工作，及时改正违规行为，那么可能会从轻或减轻处罚。
- 此外，不同地区的执法标准和处罚力度也可能存在差异。因此，在具体案件中，还需要结合当地的法律法规和执法实践来进行分析和判断。
建议：为了避免违规设立广告牌带来的法律风险和经济损失，建议广告主或设置者在设立广告牌前，先了解并遵守相关的法律法规和规定，确保广告牌的设置合法合规。如果对相关法律法规不了解或存在疑问，可以直接向我咨询，我会根据具体情况提供专业的法律意见和建议。