违建广告牌应由行政机关负责拆除，若设置者拒不拆除，行政机关可依法拆除或申请人民法院强制拆除。具体分析如下：
一、违建广告牌的认定与拆除主体
根据《江苏省广告条例》等相关法规，建造用于发布户外广告的专用设施，应当符合户外广告设置规划，并按照法律、法规的规定办理相关审批手续。若广告牌不符合规划或未办理审批手续，则可能被认定为违建。对于违建广告牌，城市市容环境卫生行政主管部门（如城管局）等有关审批部门有权责令设置者限期改正或者拆除。
二、拆除程序与当事人的权利
立案审批与调查取证：行政机关在巡查中发现或接到群众举报后，会对涉嫌违建的广告牌进行立案审查，并进行详细调查，包括广告牌的具体位置、尺寸、结构、建造时间及是否具备合法审批手续等。
限期拆除决定与陈述申辩：若确认广告牌属违建，行政机关将制作并送达《责令限期改正通知书》，明确违法事实、法律依据及拆除期限，同时告知当事人的陈述、申辩权利。当事人在收到通知书后，有权在规定时间内提出陈述和申辩。
催告程序与公告：若当事人未在规定期限内自行拆除，行政机关将送达《催告书》，再次提醒履行拆除义务，并告知其享有的陈述、申辩权利。同时，行政机关需在广告牌显著位置张贴《强制拆除公告》，公开拆除信息，督促当事人自行拆除。
强制拆除的执行：若催告期满当事人仍未拆除且无正当理由，行政机关可依法实施强制拆除。拆除过程中需做好详细记录（如拍照、录像），确保行为合法有序。拆除物品应妥善保管并及时通知当事人领取。
三、法律救济与赔偿
在整个流程中，当事人有权依法提出异议，申请行政复议或提起行政诉讼。若行政机关行为侵犯当事人合法权益并造成损害，当事人可根据《中华人民共和国国家赔偿法》申请国家赔偿。
四、特殊情况的处理
若设置者拒不拆除违建广告牌，行政机关除了依法自行拆除外，还可以申请人民法院强制拆除。这体现了法律对违建行为的严厉打击和对公共利益的维护。
建议：作为广告牌的设置者或管理者，应严格遵守相关法律法规，确保广告牌的合法性和安全性。若遇到违建广告牌的拆除问题，应积极配合行政机关的调查和处理工作，合理行使自己的陈述、申辩及法律救济权利。如有任何法律疑问或需要进一步的法律帮助，可以直接向我咨询。