退休后，并不需要与所有曾经工作过的单位都解除劳动合同。以下从不同角度为你详细分析：

一、劳动合同终止的法定情形

根据《中华人民共和国劳动合同法》的相关规定，劳动合同的终止主要基于以下几种情形：

1. 劳动合同期满：如果劳动合同中约定了具体的期限，当期限届满时，劳动合同自然终止。
2. 劳动者开始依法享受基本养老保险待遇：当劳动者达到法定退休年龄并开始享受基本养老保险待遇时，劳动合同也会终止。这是退休后劳动合同终止的常见情形。
3. 劳动者死亡，或者被人民法院宣告死亡或者宣告失踪：在这些情况下，劳动合同自然无法继续履行，因此会终止。
4. 用人单位被依法宣告破产、被吊销营业执照、责令关闭、撤销，或者用人单位决定提前解散：这些情形下，用人单位的主体资格消灭，劳动合同也随之终止。

退休属于上述第二种情形，即劳动者开始依法享受基本养老保险待遇。因此，当你退休时，你与当前用人单位的劳动合同会自然终止，无需你主动去解除。

二、与过往单位的关系

1. 已终止的劳动合同：对于你曾经工作过但已经离职（包括退休前已经离职）的单位，你的劳动合同可能已经在离职时就已经终止或解除。因此，退休后无需再与这些单位解除劳动合同。
2. 未终止的劳动合同（如退休前仍在职）：如果你在退休前仍在某个单位工作，那么当你退休时，你与该单位的劳动合同会因你开始享受基本养老保险待遇而自然终止。同样无需你主动去解除。

三、特殊情况说明

1. 退休返聘：有些劳动者在退休后可能会被原单位或其他单位返聘，继续从事工作。在这种情况下，你与返聘单位之间会签订新的劳务合同或聘用协议，而不是原劳动合同的延续。因此，退休返聘并不涉及解除原劳动合同的问题。
2. 未享受养老保险待遇的退休：虽然大多数情况下退休意味着开始享受基本养老保险待遇，但也有一些特殊情况（如因单位原因未缴纳养老保险导致无法享受待遇）。在这种情况下，你可能需要与单位协商解决养老保险待遇问题，但这并不涉及解除劳动合同的问题。因为从法律上讲，你的劳动合同已经因你达到退休年龄而具备了终止的条件（尽管实际终止可能因养老保险问题而有所延迟）。

四、建议与注意事项

1. 确认劳动合同状态：在退休前，建议你确认自己与各单位的劳动合同状态，确保没有遗漏或未了结的事项。
2. 保留相关证据：为了保障自己的权益，建议你保留好与各单位签订的劳动合同、离职证明、养老保险缴纳记录等相关证据。
3. 咨询专业人士：如果你对退休后与单位的关系或劳动合同终止等问题有疑问或担忧，建议咨询专业的法律人士或劳动保障部门的工作人员。

总之，退休后你无需与所有曾经工作过的单位都解除劳动合同。你的劳动合同会在你开始享受基本养老保险待遇时自然终止。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。