结论：在物业错误发出整改通知书后不退押金，但后来又退还了押金的情况下，通知书是否退还给物业，主要取决于您与物业之间的协商结果以及您的个人意愿。不过，从法律和实际操作的角度，我给出以下分析和建议。
分析：
法律层面：
- 整改通知书本身是物业基于某种管理需要或认为存在违规行为而发出的正式文件。如果物业后来承认该通知书是错误发出的，并且已经退还了押金，那么这份通知书在法律上的效力已经大大减弱或消除。
- 从法律证据的角度来看，如果您保留这份通知书，它可能不再具有直接的证明效力，因为物业已经通过退还押金的行为表明了其态度。但如果您担心未来可能出现的纠纷或需要证明某些事实，保留通知书可能作为一份辅助证据。
实际操作层面：
- 如果您与物业之间的关系和谐，且双方都已经认可了押金退还和通知书错误的事实，那么将通知书退还给物业可能是一个友好的举动，有助于维护良好的邻里关系。
- 如果您对物业的管理或服务存在不满，或者担心未来可能因其他问题产生纠纷，保留通知书可能作为一种“保险”，以备不时之需。但这种情况下的保留应当基于合理的考虑，而不是无端的猜疑或报复。
个人意愿层面：
- 最终是否退还通知书，还应考虑您的个人意愿。如果您认为保留它没有实际意义，或者希望与物业划清界限，那么可以选择退还。
- 如果您觉得保留它可能在未来某个时刻对自己有利，或者仅仅作为一种纪念或提醒，那么也可以选择保留。
建议：
- 在决定是否退还通知书之前，您可以先与物业进行沟通，了解他们对此事的态度和期望。
- 如果您决定保留通知书，建议将其妥善保管，并记录下相关的背景信息（如退还押金的时间、原因等），以备未来可能的需要。
- 如果您决定退还通知书，可以要求物业出具一份书面确认，表明他们已经收到了通知书，并且双方对此事已经达成一致。
额外提醒：
- 在处理此类问题时，保持冷静和理性至关重要。避免因为情绪化的反应而做出可能对自己不利的决定。
- 如果您对物业的管理或服务存在持续的不满或担忧，建议通过正式的渠道（如业主委员会、相关部门投诉等）来表达您的意见和诉求。
如有任何其他疑问或需要进一步的法律帮助，请随时向我咨询。