如果作出行政处罚后发现违法事实不存在，那么该行政处罚应当被撤销。以下是对此情况的详细分析：

1. 法律依据：

   • 根据《中华人民共和国行政处罚法》的相关规定，行政处罚必须基于确凿的违法事实和充分的证据。如果违法事实不成立或证据不足，行政机关不应实施行政处罚。

2. 具体情形分析：

   • 没有违法事实：如果经过全面、客观、公正的调查取证后，行政机关无法收集到充分证据证明当事人实施了行政违法行为，那么应认定违法事实不成立，从而作出撤销行政处罚的决定。
   • 证据不足：如果行政机关收集的证据无法形成完整的证据链，不足以证明当事人存在违法行为，那么同样应撤销行政处罚。例如，在某些情况下，可能由于证据收集不当、证据丢失或证据被篡改等原因，导致证据不足，此时应撤销行政处罚。

3. 撤销程序：

   • 一旦发现行政处罚所依据的违法事实不存在或证据不足，行政机关应当主动撤销该行政处罚。
   • 如果当事人对行政处罚有异议，并提供了充分的证据证明违法事实不成立或证据不足，行政机关也应当撤销该行政处罚。
   • 撤销行政处罚应当制作撤销决定书，并送达给当事人。撤销决定书应当载明撤销行政处罚的理由、依据和决定内容。

4. 法律后果：

   • 行政处罚被撤销后，该处罚对当事人不再具有法律效力。
   • 如果行政处罚已经执行，行政机关应当采取措施恢复当事人的合法权益，如退还罚款、恢复名誉等。
   • 如果行政处罚的撤销是由于行政机关的过错导致的，行政机关还应当承担相应的法律责任。

综上所述，如果作出行政处罚后发现违法事实不存在，那么该行政处罚应当被撤销。这是依法行政原则和保护当事人合法权益的重要体现。如果你面临类似情况或有其他法律问题，可以直接向我咨询。