驾驶时没有履行观察义务的处罚需结合具体违法情形确定，主要分为以下两种情况：

1. 若属于“未按照操作规范安全驾驶”的一般违法行为
   根据《道路交通安全法》第二十二条，驾驶员负有“安全驾驶、文明驾驶”的法定义务，包括观察路况、行人、车辆等周围环境。若因未观察导致存在安全隐患（如未注意后方来车强行变道、未观察行人突然启动车辆等），通常会被认定为“未按照操作规范安全驾驶”。
   处罚标准：根据《道路交通安全法》第九十条，处警告或20元以上200元以下罚款，同时可能被记2分（具体记分以地方实施条例为准）。

2. 若因未观察直接导致交通事故或严重违法行为

   • 引发交通事故：若未观察行为是事故主因（如未观察信号灯闯红灯导致碰撞），需承担事故全部或主要责任，并可能面临更严厉处罚。例如，根据《道路交通安全法》第七十六条，需赔偿对方损失；若构成交通肇事罪（如致人重伤、死亡），还可能被追究刑事责任（《刑法》第一百三十三条）。
     
   • 涉及危险驾驶或故意违法：若未观察行为伴随其他严重情节（如酒驾后未观察路况、故意别车等），可能被认定为“危险驾驶罪”或“以危险方法危害公共安全罪”，面临拘役、有期徒刑等刑事处罚。

补充说明：

• 观察义务的履行需结合具体场景判断。例如，通过后视镜观察后方、变道前打转向灯并观察盲区、通过路口时减速观察等，均属于法定观察义务。
  
• 若因未观察被处罚，可通过行政复议或诉讼主张已履行观察义务（如提供行车记录仪视频等证据），但需承担举证责任。
  

建议：
若您因未观察被处罚或涉及事故，可进一步说明具体场景（如是否变道、是否闯红灯、是否造成人员伤亡等），我将结合细节为您分析责任认定及应对方案。