针对您提出的“残疾人不在公司上班，单位缴纳社保是否合法，以及现在又退了社保是否合法”的问题，我将结合相关法律法规和实际操作建议，为您进行详细解答。
一、关于单位为不在公司上班的残疾人缴纳社保的合法性
首先，需要明确的是，如果残疾人并未在公司实际上班，即未与公司建立劳动关系，那么公司通常没有义务为其缴纳社保。社保缴纳是基于劳动关系的存在而产生的法定义务。然而，如果存在特殊情况，比如残疾人虽未直接在公司上班，但与公司存在挂靠关系或公司出于某种原因（如政策扶持、社会责任等）自愿为其缴纳社保，这种行为在法律上并不被明确禁止，但也不属于公司的法定义务。
二、关于单位退掉已为残疾人缴纳的社保的合法性
如果残疾人并未在公司上班，且公司之前缴纳社保并非基于劳动关系：
- 在这种情况下，如果公司决定退掉已为残疾人缴纳的社保，从法律角度来看，这并不直接违反法律规定，因为公司原本就没有法定义务为其缴纳。但需要注意的是，这种行为可能涉及合同或协议的问题，如果公司之前与残疾人或相关机构有明确的约定或协议，那么退保行为可能构成违约，需要承担相应的违约责任。
如果残疾人曾在公司上班，且公司已为其缴纳社保：
- 在这种情况下，如果公司未经残疾人同意擅自退掉其社保，这是不合法的。因为社保缴纳是基于劳动关系的存在，且公司有义务为员工缴纳社保。退保行为可能损害残疾人的合法权益，如养老保险、医疗保险等。残疾人有权要求公司恢复其社保缴纳，并可以通过与公司协商、向劳动监察部门投诉、申请劳动仲裁等途径来维护自己的权益。
三、实际操作建议
核实劳动关系：
- 首先，需要核实残疾人与公司之间是否存在劳动关系。如果存在劳动关系，公司则有义务为其缴纳社保，不得擅自退保。
与公司沟通协商：
- 如果发现公司存在退保行为，残疾人应首先与公司进行沟通协商，明确表达自己的诉求和权益，要求公司恢复社保缴纳或给予合理的解释和补偿。
寻求法律援助：
- 如果沟通协商无果，残疾人可以寻求法律援助，咨询专业律师或法律机构，了解自己的权益和可能的维权途径。
向相关部门投诉或申请仲裁：
- 根据具体情况，残疾人可以向当地劳动监察部门投诉公司的违法行为，或向劳动争议仲裁委员会申请劳动仲裁，要求公司承担相应的法律责任。
综上所述，单位为不在公司上班的残疾人缴纳社保的合法性取决于具体情况，而退掉已为残疾人缴纳的社保的合法性也需根据劳动关系和具体情况来判断。如果残疾人的权益受到侵害，应积极采取行动来维护自己的合法权益。