在墙上写黄色广告，一般由城市管理部门（城管部门）进行处罚。以下从不同角度为你详细分析：

法律依据与处罚主体

根据《城市市容和环境卫生管理条例》等相关规定，城市管理部门负责城市市容和环境卫生的管理工作，包括对乱张贴、乱涂写等影响市容环境卫生行为的查处。在墙上写黄色广告，属于乱涂写的行为，破坏了城市的市容环境卫生，因此城管部门有权对此类行为进行处罚。

处罚措施

1. 责令清除：城管部门会首先责令行为人清除在墙上写的黄色广告，恢复墙面的整洁。
2. 罚款：如果行为人拒不清除或者清除不彻底，城管部门可以对其处以罚款。罚款的数额根据具体情节和当地的相关规定而定，一般会在一定范围内浮动。
3. 其他措施：对于情节严重、影响恶劣的行为，城管部门还可以采取其他措施，如暂扣相关工具、设备等，或者将行为人纳入城市管理信用体系进行惩戒。

特殊情况

如果黄色广告涉及违法犯罪内容，如色情、赌博、诈骗等，那么除了城管部门的处罚外，还可能涉及公安机关的介入。公安机关会根据相关法律法规对行为人进行进一步的调查和处理，可能包括刑事拘留、罚款、没收违法所得等措施。

建议与提醒

1. 遵守法律法规：作为公民，我们应该遵守国家的法律法规，不参与任何违法乱纪的行为，包括在墙上写黄色广告等破坏市容环境卫生的行为。
2. 积极举报：如果我们发现有人在墙上写黄色广告或者其他破坏市容环境卫生的行为，可以积极向城管部门或者公安机关举报，共同维护城市的整洁和秩序。
3. 增强法律意识：我们应该增强自己的法律意识，了解相关的法律法规和处罚措施，避免因为无知而触犯法律。

如果你在房产领域遇到其他法律问题，比如房屋买卖纠纷、租赁合同问题等，也可以直接向我咨询，我会为你提供专业的法律建议。