不小心走了公交车道，确实可能会面临一定的处罚，这主要依据《中华人民共和国道路交通安全法》以及各地的具体实施细则来判定。以下是对此问题的详细解答：
一、一般情况下的处罚
违法性质：
- 根据《中华人民共和国道路交通安全法》第三十七条，道路划设专用车道的，只准许规定的车辆通行，其他车辆不得进入。因此，走公交车道属于不按规定车道行驶，违反了交通法规。
罚款：
- 依据该法第九十条，机动车驾驶人违反道路交通安全法律、法规关于道路通行规定的，处警告或者二十元以上二百元以下罚款。在实际执行中，多数地区对此类违规行为的罚款金额在100元至200元之间。
记分：
- 关于记分，各地区标准可能有所不同。一般而言，走公交专用车道会被扣除驾驶证分数，可能是1分、2分或3分，具体需参照当地交通管理部门的规定。例如，若公交专用道设置在城市快速路上，根据公安部发布的《道路交通安全违法行为记分管理办法》，可能一次记1分。
二、特殊时段与特定标识情形的处罚
特殊时段：
- 在工作日高峰时段（如7时至9时、17时至20时），社会车辆驶入公交专用道将严重影响公共交通的优先通行权。此时，处罚通常更为严格，罚款金额可能在100元至200元之间，并可能记2分或更多。
特定公交专用道标识：
- 如全时段公交专用道，意味着任何时间都不允许社会车辆驶入。违规驶入的处罚也相对严厉，通常罚款在100元至200元之间，并记2分或按当地更严格的规定执行。
三、特殊情况的处理
短暂进出或穿越：
- 若在规定时间内仅短暂地进出或穿越公共汽车通道，且未影响公交车辆正常行驶，通常不会被视为违法行为。
特殊天气或路况：
- 在特大暴雨、路面车道线无法看清或前方修路、事故等特殊情况下误入公交车道，可向交通部门申诉复议，有可能免于处罚。
交警指挥：
- 在交通拥堵等特殊情况下，若经交警指挥驶入公交车道，则不构成违规，不予处罚。
四、建议与注意事项
了解当地规定：
- 由于各地处罚规定存在差异，驾驶员在行驶前应充分了解当地的具体规定，以避免不必要的违规。
遵守交通规则：
- 无论何种情况，都应严格遵守交通规则，确保行车安全。避免长时间在公交车道上行驶，以免干扰公交车辆的正常运营。
及时驶出：
- 如果不小心误入公交车道，应立即驶出并避免长时间行驶。
申请行政复议或诉讼：
- 对处罚决定不服的驾驶员，可在规定时间内通过合法途径申请行政复议或提起行政诉讼。
综上所述，不小心走了公交车道的处罚情况因地区、时段及具体情形而异。驾驶员应时刻保持警惕，严格遵守交通规则，并根据当地的具体规定调整自己的驾驶行为。如果不幸违规，也应积极面对并妥善处理后续事宜。