不小心走了公交车道，其处罚情况确实会因地区、时段以及具体情形而有所不同。但总体来说，这种行为通常被视为违反交通指示或道路通行规定，因此可能会面临罚款和可能的记分处罚。

一、一般情况下的处罚

1. 违法性质：根据《中华人民共和国道路交通安全法》的相关规定，车辆应按照交通信号通行。走公交车道违反了这一规定，属于不按规定车道行驶。

2. 罚款：对于此类违规行为，机动车驾驶人可能会面临警告或者二十元以上二百元以下的罚款。在实际执行中，多数地区对此类违规的罚款金额在100元至200元之间。

3. 记分：关于记分，各地区标准可能有所不同。一般来说，走公交专用车道可能会被扣除驾驶证分数，可能是1分、2分或3分，具体需参照当地交通管理部门的规定。

二、特殊时段与特定标识情形的处罚

1. 特殊时段：在工作日的高峰时段，如早上7时至9时、下午17时至20时，社会车辆驶入公交专用道将严重影响公共交通的优先通行权。此时，处罚通常更为严格，罚款金额可能在100元至200元之间，并可能记2分或更多。例如，北京在这些时段内禁止非公交车辆驶入公交专用道，违者将被处以200元罚款，记2分。

2. 特定公交专用道标识：如全时段公交专用道，意味着任何时间都不允许社会车辆驶入。违规驶入的处罚也相对严厉，通常罚款在100元至200元之间，并可能记2分或按当地更严格的规定执行。

三、特殊情况的处理

1. 短暂进出或穿越：若在规定时间内仅短暂地进出或穿越公共汽车通道，且未影响公交车辆正常行驶，通常不会被视为违法行为。

2. 特殊天气或路况：在特大暴雨、路面车道线无法看清或前方修路、事故等特殊情况下误入公交车道，可向交通部门申诉复议，有可能免于处罚。

3. 交警指挥：在交通拥堵等特殊情况下，若经交警指挥驶入公交车道，则不构成违规，不予处罚。

四、建议与注意事项

1. 了解当地规定：由于各地处罚规定存在差异，驾驶员在行驶前应充分了解当地的具体规定，以避免不必要的违规和处罚。

2. 遵守交通规则：无论何种情况，都应严格遵守交通规则，确保行车安全。特别是要注意观察路面标志和交通信号，避免误入公交车道。

3. 及时驶出：如果不小心误入公交车道，应立即驶出并避免长时间行驶，以减少对公交车辆正常行驶的影响。

4. 申请行政复议或诉讼：如果对处罚决定不服，驾驶员可以在规定时间内通过合法途径申请行政复议或提起行政诉讼，以维护自己的合法权益。

综上所述，不小心走了公交车道的处罚情况复杂多变，驾驶员需时刻保持警惕，严格遵守交通规则，并根据当地的具体规定调整自己的驾驶行为。