广告牌子被他人拆除的处罚需根据拆除行为的性质、造成的后果以及行为人的主观意图综合判断，可能涉及民事赔偿、行政处罚或刑事责任。具体分析如下：

1. 民事责任：赔偿损失
   若拆除行为属于侵权（如未经允许故意破坏他人财物），行为人需承担民事赔偿责任。根据《民法典》第1165条，行为人因过错侵害他人民事权益造成损害的，应赔偿实际损失（如广告牌制作成本、安装费用、因拆除导致的营业损失等）。若双方存在合同关系（如租赁广告位未到期被拆除），还可能涉及违约责任。

2. 行政责任：罚款或拘留
   若拆除行为违反《治安管理处罚法》第49条（故意损毁公私财物），公安机关可对行为人处5-15日拘留，并可并处1000元以下罚款；情节较轻的（如损失较小、主动赔偿），可处5日以下拘留或500元以下罚款。
   若拆除行为涉及城市管理违规（如未经审批设置广告牌被城管拆除），则属于行政强制执行，不涉及对拆除者的处罚，但设置者可能因违规被罚款。

3. 刑事责任：故意毁坏财物罪
   若拆除行为造成损失达到刑事立案标准（如损失5000元以上，或多次毁坏、纠集多人毁坏等），根据《刑法》第275条，行为人可能被处3年以下有期徒刑、拘役或罚金；数额巨大（如5万元以上）或有其他特别严重情节的，处3-7年有期徒刑。

建议行动步骤：

1. 立即固定证据（如拍照、录像、保存广告牌价值凭证、报警回执等）；
   
2. 通过警方或律师向行为人发送《律师函》，要求停止侵害、赔偿损失；
   
3. 若协商无果，可向法院提起民事诉讼或刑事自诉（视损失金额和情节而定）；
   
4. 若涉及城管拆除，需核实广告牌设置是否合规，若合规可申请行政复议或提起行政诉讼。
   

如有进一步细节（如拆除原因、损失金额、行为人身份等），可向我补充说明，我会为您分析具体应对方案。