结论前置：根据您描述的情况，如果疲劳驾驶了4个小时3分钟，即使之后停车休息了20分钟，仍然可能面临处罚。具体是否处罚及处罚的轻重，会依据您驾驶的车辆类型以及行驶的道路类型等因素有所不同。
详细分析
疲劳驾驶的定义与处罚依据
- 疲劳驾驶指的是连续驾驶机动车超过4小时未停车休息或者停车休息时间少于20分钟的行为。这种行为显著增加了发生交通事故的风险，因此受到法律的严厉规制。
- 处罚依据主要包括《中华人民共和国道路交通安全法》及其实施条例，以及《道路交通安全违法行为记分管理办法》等相关法规。
不同车辆类型的处罚标准
驾驶中型以上载客汽车或危险物品运输车辆：
- 在高速公路、城市快速路以外的道路上行驶超过4小时未停车休息，或停车休息时间少于20分钟，将被记9分（部分地方可能执行更严格的12分标准，具体以当地最新交通法规为准）。
- 在高速公路、城市快速路上行驶超过4小时未停车休息，或停车休息时间少于20分钟，处罚更为严厉，一次将记12分。
- 同时，根据《道路交通安全违法行为处罚标准》，还可能面临200元的罚款。
驾驶非中型以上载客汽车或非危险物品运输车辆：
- 连续驾驶超过4小时未停车休息，或停车休息时间少于20分钟，虽然不直接扣分（但也有说法为记3分或6分，具体以当地最新交通法规为准），但根据《道路交通安全法》第九十条，可能面临警告或20元以上200元以下的罚款。
您的情况分析
- 您提到疲劳驾驶了4个小时3分钟，之后停车休息了20分钟。从时间上看，您已经构成了疲劳驾驶的行为，因为您连续驾驶的时间超过了4小时。
- 尽管您之后停车休息了20分钟，但这并不能完全消除之前疲劳驾驶的违法性。交通管理部门在处罚时，会重点考虑您连续驾驶的时间是否超过了法定限制。
建议与预防措施
- 合理安排休息时间：在长途驾驶中，应合理安排休息时间，避免长时间连续驾驶。建议每驾驶4小时就停车休息至少20分钟，以确保精力充沛。
- 提高安全意识：认识到疲劳驾驶的危害性，不要抱有侥幸心理。在感到疲劳时，应及时选择安全地点停车休息。
- 遵守交通法规：严格遵守交通法规中关于疲劳驾驶的规定，确保自己和他人的生命安全。
总结与提醒：疲劳驾驶是严重的交通违法行为，不仅可能面临法律的严厉处罚，还可能对驾驶员和他人的生命安全造成不可挽回的损失。因此，我强烈建议您在驾驶过程中严格遵守交通法规，合理安排休息时间，确保行车安全。如果您有任何关于交通事故或劳动纠纷的法律问题，都可以直接向我咨询。