设置户外广告违法时，主要处罚的是违法设置广告的主体，包括个人、单位或企业等。具体处罚依据和情况如下：
一、法律依据及处罚措施
《城市市容和环境卫生管理条例》
- 第十一条：明确规定，在城市中设置户外广告、标语牌、画廊、橱窗等，应当内容健康、外型美观，并定期维修、油饰或者拆除。大型户外广告的设置必须征得城市人民政府市容环境卫生行政主管部门同意后，按照有关规定办理审批手续。若未经批准擅自设置，将面临处罚。
- 第三十四条：对于未经批准擅自设置户外广告等影响市容的行为，城市人民政府市容环境卫生行政主管部门或者其委托的单位除责令其纠正违法行为、采取补救措施外，可以并处警告、罚款。
《中华人民共和国广告法》
- 该法对广告活动进行了全面规范，包括户外广告。若户外广告内容违法（如虚假宣传、误导消费者等），工商行政管理部门将依据广告法进行处罚，包括责令停止发布、消除影响、处以罚款等。
《中华人民共和国城乡规划法》
- 若户外广告的设置涉及违法建设（如未取得建设工程规划许可证或未按许可规定进行建设），城乡规划主管部门将依据城乡规划法进行处罚，包括责令停止建设、限期改正、罚款、限期拆除等。
地方性法规
- 各地根据本地实际情况制定了相应的地方性法规或规章，对违规设置户外广告的处罚标准和措施进行了进一步明确。例如，某些地方可能规定了更具体的罚款数额、拆除程序等。
二、实际应用中的处罚情况
在实际操作中，对于违规设置户外广告的行为，相关部门会首先确定其违反的具体法律法规条款，然后依据相关规定进行相应的处罚。处罚措施可能包括：
- 责令停止违法行为：要求违法者立即停止设置或继续展示违法广告。
- 限期改正：要求违法者在规定期限内对违法广告进行整改，如拆除、修改内容等。
- 罚款：根据违法情节的严重程度，对违法者处以一定数额的罚款。
- 没收违法所得：若违法者通过违法广告获得了经济利益，相关部门可能没收其违法所得。
- 强制拆除：对于拒不整改或整改不到位的违法广告，相关部门可能依法进行强制拆除。
三、建议与提醒
- 遵守法律法规：在设置户外广告时，务必遵守相关法律法规和地方性规定，确保广告内容合法、设置位置合规、审批手续齐全。
- 及时咨询与了解：在设置户外广告前，建议咨询当地城市管理部门或相关机构，了解具体的设置要求和审批流程。
- 积极配合整改：若因违规设置户外广告而受到处罚，应积极配合相关部门的整改要求，及时拆除或修改违法广告，以避免进一步的法律后果。
如有任何关于户外广告设置或相关法律问题的疑问，可以直接向我咨询。