结论：解除劳动关系以邮寄方式送达但邮件退回，双方劳动关系是否解除不能一概而论，需根据具体情况判断。以下从不同角度进行分析：
若用人单位能证明邮件退回非因其自身原因，且劳动者已实际收到解除通知或解除事实已为劳动者所知
- 法律背景：根据《劳动合同法》及相关规定，用人单位解除劳动关系需依法通知劳动者。在邮寄送达的情况下，如果用人单位能够证明邮件退回并非自身原因（如地址错误、劳动者拒收等），并且有证据表明劳动者已经实际收到了解除通知，或者解除劳动关系的事实已经为劳动者所知（例如，用人单位通过其他方式如短信、电话等告知了劳动者，或者劳动者已经实际停止工作并办理了离职手续等），那么可以认为双方劳动关系已经解除。
- 建议：用人单位应保留好邮寄凭证、退回凭证以及其他能够证明劳动者已收到解除通知或已知解除事实的证据，如短信记录、通话录音、离职交接单等。
若用人单位无法证明邮件退回非因其自身原因，且无其他证据证明劳动者已收到解除通知或解除事实已为劳动者所知
- 法律背景：如果用人单位无法证明邮件退回并非自身原因，且没有其他证据表明劳动者已经收到了解除通知或者已经知道了解除劳动关系的事实，那么在这种情况下，不能简单地认为双方劳动关系已经解除。因为解除劳动关系的通知需要有效送达劳动者，才能产生法律效力。
- 可能后果：如果用人单位未依法通知劳动者即解除劳动关系，可能构成违法解除，需要承担相应的法律责任，如支付赔偿金等。
- 建议：用人单位在邮寄解除通知时，应确保地址准确无误，并保留好邮寄凭证。如果邮件退回，应及时与劳动者联系，确认其是否收到通知，并保留好相关沟通记录。如果无法联系到劳动者或劳动者否认收到通知，用人单位应考虑通过其他方式（如公告送达等）再次送达解除通知，以确保通知的有效送达。
特殊情况：劳动者拒收邮件
- 法律分析：如果劳动者拒收邮件，这并不影响用人单位解除劳动关系的决定的有效性，但用人单位需要证明劳动者已经知道了解除劳动关系的事实。例如，用人单位可以通过短信、电话等方式告知劳动者解除决定，并保留好相关证据。
- 建议：在劳动者拒收邮件的情况下，用人单位应及时采取其他送达方式，并保留好相关证据，以证明劳动者已经知道了解除劳动关系的事实。
进一步思考：在实际操作中，用人单位在解除劳动关系时，应尽可能选择多种送达方式，以确保解除通知的有效送达。同时，用人单位应保留好所有与解除劳动关系相关的证据，以备不时之需。如果劳动者对解除劳动关系有异议，可以依法申请劳动仲裁或提起诉讼，维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。