结论：单位的行为存在多处违法情形，既包括未依法缴纳社保，也包括违法解除劳动合同，您有权通过法律途径维护自身合法权益。 以下从不同角度详细分析：

一、关于单位未缴纳社保的问题

1. 法律强制性规定：根据《社会保险法》第五十八条，用人单位应当自用工之日起三十日内为其职工向社会保险经办机构申请办理社会保险登记。未办理社会保险登记的，由社会保险经办机构核定其应当缴纳的社会保险费。这意味着，只要您与单位建立了劳动关系，单位就有法定义务为您缴纳社保，这是强制性的，不存在任何例外或协商空间。
2. 您的权利救济途径：您有权要求单位为您补缴自入职以来的全部社保费用。如果单位拒绝，您可以向当地的社会保险行政部门（一般是人社局）投诉，社会保险行政部门会依法进行调查处理，责令单位限期补缴，并可能对单位处以滞纳金等处罚。

二、关于单位强行辞退的问题

1. 辞退的合法性分析：
   • 辞退理由的合法性：单位辞退员工必须有合法、合理的理由，并且要符合法定的程序。常见的合法辞退理由包括员工严重违反单位规章制度、严重失职给单位造成重大损害、被依法追究刑事责任等。如果单位领导仅仅因为您50岁就强行辞退，且没有上述合法理由，那么这种辞退行为就是违法的。
   • 辞退程序的合法性：即使单位有合法的辞退理由，也需要按照法定的程序进行。例如，对于严重违反规章制度的员工，单位需要事先将理由通知工会，并听取工会的意见；对于符合经济性裁员条件的，单位需要提前三十日向工会或者全体职工说明情况，听取工会或者职工的意见后，裁减人员方案经向劳动行政部门报告，才可以裁减人员。如果单位没有履行这些程序，辞退行为也是违法的。
2. 违法辞退的法律后果：根据《劳动合同法》第四十八条，用人单位违反本法规定解除或者终止劳动合同，劳动者要求继续履行劳动合同的，用人单位应当继续履行；劳动者不要求继续履行劳动合同或者劳动合同已经不能继续履行的，用人单位应当依照本法第八十七条规定支付赔偿金。赔偿金的标准是按照经济补偿标准的二倍向劳动者支付。经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。您在单位工作了23年，如果单位违法辞退您且您不要求继续履行劳动合同，单位需要支付您46个月工资的赔偿金。

三、综合建议

1. 收集证据：您需要收集能够证明您与单位存在劳动关系（如劳动合同、工资发放记录、工作证等）、单位未缴纳社保（如社保缴费记录查询结果）以及单位强行辞退您（如辞退通知、与领导沟通的录音录像等）的证据。
2. 协商解决：在收集好证据后，您可以先与单位进行协商，要求单位为您补缴社保并支付违法辞退的赔偿金。如果单位同意，您可以与单位签订书面协议，明确双方的权利义务。
3. 申请劳动仲裁：如果协商不成，您可以向当地的劳动争议仲裁委员会申请劳动仲裁，提交仲裁申请书和相关证据，要求单位承担相应的法律责任。劳动仲裁是解决劳动争议的一种快速、有效的途径，而且仲裁裁决具有法律效力。
4. 提起诉讼：如果您对劳动仲裁裁决不服，还可以在收到仲裁裁决书之日起十五日内向人民法院提起诉讼，通过司法程序维护自己的合法权益。

您在工作中遇到这样的不公待遇，我非常理解您的心情。如果您还有其他疑问或需要进一步的帮助，请随时向我咨询。