针对您提出的问题，即距离正式退休不足4年且在单位工作10年半的情况下，单位是否要负责，这主要取决于单位解除劳动合同的原因以及是否符合相关法律法规的规定。以下是从不同角度进行的分析：
一、单位无合法理由解除劳动合同的情况
违法解除的后果：
- 如果单位在没有合法理由的情况下解除与您的劳动合同，那么单位的行为可能构成违法解除。根据《中华人民共和国劳动合同法》的相关规定，违法解除劳动合同的，单位需要支付赔偿金。
- 赔偿金计算：赔偿金的标准通常是经济补偿标准的两倍。经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。因此，如果您在单位工作了10年半，单位违法解除劳动合同的，您有权获得21个月工资的赔偿金（10.5年×2倍）。
您的权益：
- 在这种情况下，您有权要求单位继续履行劳动合同，或者要求单位支付赔偿金。如果单位拒绝支付，您可以通过劳动仲裁或诉讼等法律途径来维护自己的权益。
二、单位有合法理由解除劳动合同的情况
合法解除的情形：
- 如果单位有合法理由解除与您的劳动合同，比如您严重违反单位规章制度、严重失职给单位造成重大损害等，那么单位可能不需要支付赔偿金。但单位需要证明其解除劳动合同的行为是合法的，并且符合相关法律法规的规定。
您的权益：
- 在这种情况下，虽然单位可能不需要支付赔偿金，但您仍然有权了解单位解除劳动合同的具体原因，并确保单位的行为符合法律法规的规定。如果您认为单位的行为存在违法或不当之处，您可以通过法律途径来维护自己的权益。
三、关于退休前劳动合同解除的特殊考虑
退休前的权益保障：
- 在您距离正式退休不足4年的情况下，如果单位解除劳动合同，除了考虑上述赔偿金问题外，还需要考虑您退休前的权益保障。比如，您是否有权享受退休金、医疗保险等福利待遇。
相关法律法规：
- 根据《中华人民共和国劳动合同法》等相关法律法规的规定，劳动者在退休前享有相应的权益保障。如果单位解除劳动合同导致您无法享受这些权益，那么单位可能需要承担相应的法律责任。
四、建议与行动
了解原因：
- 首先，您需要了解单位解除劳动合同的具体原因，并判断单位的行为是否合法。
保留证据：
- 在整个过程中，务必保留好所有相关证据，包括劳动合同、工作记录、沟通记录等，以便在需要时提供证明。
法律途径：
- 如果您认为单位的行为存在违法或不当之处，或者单位拒绝支付赔偿金等合法权益，您可以通过劳动仲裁或诉讼等法律途径来维护自己的权益。
总结来看，单位是否要负责取决于其解除劳动合同的原因以及是否符合相关法律法规的规定。如果您面临这样的情况，建议及时咨询并向我详细阐述情况，以便更好地维护自己的合法权益。