结论：单位一般不可以单方面解除与您的劳动关系，但存在特定法定情形时，单位有权解除。以下从不同角度进行分析：
正常情况下的劳动关系解除限制
- 法定退休年龄与劳动合同终止
- 根据《劳动合同法》及其实施条例，劳动者达到法定退休年龄（目前男性一般为60周岁，女性工人一般为50周岁，女性干部一般为55周岁）时，劳动合同终止。但这里您提到的是50岁不想退休且想延迟工作，若您尚未达到法定退休年龄（比如您是男性，或者女性但属于干部身份等情况），单位不能仅以年龄因素单方面解除劳动关系。
- 即使您是女性工人身份，达到50周岁但未享受基本养老保险待遇，且您愿意继续工作，单位也不能随意解除。因为劳动合同终止以“达到法定退休年龄且享受基本养老保险待遇”为双重条件，仅达到退休年龄未享受待遇，劳动合同并不当然终止。
- 无过错性解除的限制
- 若您不存在《劳动合同法》第三十九条规定的严重违反单位规章制度、严重失职给单位造成重大损害等过错情形，单位不能依据该条单方面解除劳动合同。
- 同时，即使单位想依据《劳动合同法》第四十条（无过错性解除）来解除劳动关系，如您患病或非因工负伤在规定的医疗期满后不能从事原工作也不能从事另行安排的工作、不能胜任工作经过培训或调岗仍不能胜任、劳动合同订立时所依据的客观情况发生重大变化致使劳动合同无法履行且经协商未能就变更劳动合同内容达成协议等情形，单位也需要提前三十日以书面形式通知您本人或者额外支付您一个月工资后，才可以解除劳动合同，且在某些情况下（如您患病或非因工负伤在规定的医疗期内等），单位还不能依据该条解除。
单位可单方面解除劳动关系的特定情形
- 过错性解除
- 如果您存在《劳动合同法》第三十九条规定的情形，如严重违反用人单位的规章制度；严重失职，营私舞弊，给用人单位造成重大损害；同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正；以欺诈、胁迫的手段或者乘人之危，使单位在违背真实意思的情况下订立或者变更劳动合同致使劳动合同无效；被依法追究刑事责任等，单位可以单方面解除劳动关系，且无需支付经济补偿。
- 经济性裁员
- 在符合《劳动合同法》第四十一条规定的经济性裁员情形下，如依照企业破产法规定进行重整的；生产经营发生严重困难的；企业转产、重大技术革新或者经营方式调整，经变更劳动合同后，仍需裁减人员的；其他因劳动合同订立时所依据的客观经济情况发生重大变化，致使劳动合同无法履行的等，单位可以按照法定程序进行经济性裁员，解除与包括您在内的部分劳动者的劳动关系。但经济性裁员有严格的程序要求，如需要提前三十日向工会或者全体职工说明情况，听取工会或者职工的意见后，裁减人员方案经向劳动行政部门报告等。
建议：
- 若单位无正当理由要单方面解除与您的劳动关系，您可以先与单位协商，要求单位说明解除理由并出示相关证据。
- 若协商不成，您可以向当地劳动争议仲裁委员会申请劳动仲裁，维护自己的合法权益。在仲裁过程中，您需要提供能证明您与单位存在劳动关系、单位违法解除劳动关系等相关证据。
如果您还有其他关于劳动工伤（劳动仲裁）方面的问题，欢迎直接向我咨询。