结论：未解除劳动合同的情况下，与单位约定全部由自己缴纳养老保险，这种做法一般是不合法的，但存在特殊情况。以下从不同角度进行分析：

从法律规定角度

根据《社会保险法》等相关法律法规，用人单位和劳动者必须依法参加社会保险，缴纳社会保险费。养老保险作为社会保险的重要组成部分，用人单位有法定的缴费义务，这是强制性的规定，不能通过双方的约定来免除。所以，在正常情况下，单位不能与劳动者约定全部由劳动者自己缴纳养老保险，这种约定违反了法律的强制性规定，是无效的。

从特殊情况角度

1. 非全日制员工：非全日制用工中，用人单位可以不用为劳动者缴纳养老保险等部分社会保险。但这里的前提是符合非全日制用工的特征，比如劳动者在同一用人单位一般平均每日工作时间不超过四小时，每周工作时间累计不超过二十四小时等。如果符合这种情况，单位不缴纳养老保险并不违法，但也不是基于双方约定全部由劳动者自己缴纳，而是法律规定的特殊情形。
2. 双方协商一致且不损害劳动者权益的特殊安排（极难实现）：理论上，如果双方能够协商一致，并且这种安排不会损害劳动者的合法权益，比如单位以其他方式给予劳动者足够的补偿，使得劳动者实际获得的社会保障水平不低于依法缴纳养老保险的情况。但在实际操作中，这种安排很难满足不损害劳动者权益的要求，因为养老保险不仅关系到劳动者退休后的基本生活保障，还涉及到工伤、失业等情况下的一系列权益，所以这种情况几乎不存在。

从实际操作风险角度

即使双方签订了这样的约定，一旦发生劳动争议，比如劳动者退休后发现养老金待遇受到影响，或者在工作中发生工伤等情况，劳动者仍然可以要求单位承担相应的法律责任。因为这种违反法律强制性规定的约定是无效的，单位不能以该约定来免除自己的法定责任。

如果你还有关于劳动合同、社会保险等方面的疑问，可以直接向我咨询。