擅自挪走禁止通行牌子属于违法行为，可能面临行政处罚，情节严重的还可能涉及刑事责任。具体处罚情况需根据行为性质、后果及主观意图综合判断，以下是详细分析：

1. 行政处罚层面
   根据《中华人民共和国道路交通安全法》第九十九条，擅自移动交通设施（包括禁止通行标志）造成危害后果的，可处200元以上2000元以下罚款，并可处15日以下拘留。若未造成实际危害，可能依据《治安管理处罚法》第二十三条，以“扰乱公共场所秩序”处警告或200元以下罚款。

2. 刑事责任层面
   若挪动标志导致交通事故、人员伤亡或重大财产损失，可能构成《刑法》第一百三十三条的“交通肇事罪”或第一百三十四条的“重大责任事故罪”。例如，因挪动标志引发连环碰撞，造成3人以上重伤或直接经济损失超50万元，将面临3年以下有期徒刑或拘役。

3. 民事赔偿层面
   行为人需对因标志缺失导致的损失承担民事赔偿责任。例如，其他车辆因无标志提示撞上施工区域，行为人需赔偿车辆维修费、医疗费等实际损失。

特殊情形说明：

• 若因紧急避险（如救人、逃生）挪动标志，需立即报警并恢复原状，可免除或减轻处罚。
  
• 若标志设置本身违法（如未按规定审批），行为人可主张行政复议或诉讼，但需通过合法途径解决，而非擅自挪动。

建议：
若发现标志设置不当，应通过122交通报警电话或向市政部门反馈，切勿自行处理。如已实施挪动行为，建议立即联系交警部门说明情况，争取从宽处理。如有进一步疑问，可直接向我咨询具体法律适用问题。