结论：单位不可以随时让还有四个月就55岁且中间是干部现在不是干部的员工退休，退休需符合法定条件并遵循法定程序。
一、法定退休年龄及条件
根据我国现行法律规定，法定退休年龄一般为男年满60周岁，女工人年满50周岁，女干部年满55周岁。但这一规定并非绝对，对于特定行业或岗位，以及因病或非因工致残完全丧失劳动能力的职工，退休年龄可能有所不同。不过，就您所描述的情况而言，关键在于是否满足法定退休条件，而非单纯依据年龄或曾经的干部身份。
年龄条件：您还有四个月就55岁，若您为女性且原本属于干部身份，在达到55周岁时，若其他条件也满足，则可能面临退休问题。但关键在于，即使年龄接近或达到退休年龄，也需满足其他退休条件。
其他条件：除了年龄外，退休还需满足一定的缴费年限（如养老保险缴费满15年）以及身体状况等条件。若您未满足这些条件，单位无权要求您退休。
二、单位无权随意决定退休
退休并非单位可以随意决定的事项，而是需要遵循法定程序和条件。单位不能仅凭您的年龄或曾经的干部身份就单方面决定让您退休。若单位试图这样做，可能构成违法解除劳动合同或侵犯您的合法权益。
劳动合同约定：若您与单位签订的劳动合同中有关于退休的约定，且该约定不违反法律法规的强制性规定，则双方应按照约定执行。但若无明确约定或约定违法，则单位无权依据约定要求您退休。
法定程序：即使您满足退休条件，单位也应按照法定程序办理退休手续，如提前通知、办理社保转移等。单位不得擅自变更或解除与您的劳动关系。
三、您的权益保障
若单位试图违法要求您退休，您有权采取以下措施维护自己的合法权益：
与单位协商：首先，您可以尝试与单位进行协商，明确表达自己的意愿和诉求，争取达成双方都能接受的解决方案。
向劳动监察部门投诉：若协商无果，您可以向当地劳动监察部门投诉，请求其介入调查并处理单位的违法行为。
申请劳动仲裁或提起诉讼：若劳动监察部门无法解决问题，您还可以向劳动争议仲裁委员会申请仲裁或向人民法院提起诉讼，通过法律途径维护自己的合法权益。
建议：在面临退休问题时，建议您先了解自己的具体情况和法律法规的相关规定，再与单位进行沟通协商。若遇到困难或疑问，可以随时向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。