结论：离职返聘人员单位突然不让干了，单位是否需要承担责任，取决于单位解除劳动合同（或劳务合同）的合法性及合同中的相关约定。以下从不同角度进行分析：
一、合同性质与解除依据
劳动合同情形：
- 若离职返聘人员与单位签订的是劳动合同，且处于合同有效期内，单位突然解除合同可能构成违法解除。根据《劳动合同法》的相关规定，用人单位违法解除劳动合同的，应当向劳动者支付赔偿金，赔偿金的标准为经济补偿标准的二倍。经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。
劳务合同情形：
- 若离职返聘人员与单位签订的是劳务合同，则双方的关系受《民法典》合同编的调整。单位突然解除劳务合同，若合同中没有明确约定解除条件或单位无法证明解除的合法性，可能构成违约。此时，单位可能需要承担违约责任，如支付违约金或赔偿因违约造成的损失。
二、解除合同的合法性审查
合法解除的情形：
- 无论是劳动合同还是劳务合同，单位在符合法定或约定条件的情况下，可以合法解除合同。例如，劳动者严重违反单位规章制度、严重失职造成重大损害、被依法追究刑事责任等情形下，单位可以解除劳动合同而无需支付赔偿金。对于劳务合同，若合同中明确约定了解除条件，且单位能够证明解除符合约定条件，则解除行为合法。
违法解除的后果：
- 如前所述，违法解除劳动合同的，单位需支付赔偿金。对于劳务合同，违法解除可能导致单位需承担违约责任，具体责任形式及金额需根据合同约定及实际损失情况确定。
三、特殊情形下的责任承担
退休返聘人员的特殊性：
- 退休返聘人员通常已享受养老保险待遇，与单位之间一般不构成劳动关系，而是劳务关系。因此，在解除合同时，主要依据劳务合同的约定及《民法典》的相关规定来确定责任。
合同中的特别约定：
- 若合同中明确约定了单位在特定情况下可以解除合同且无需承担责任，或约定了劳动者在特定情况下需承担违约责任等条款，这些条款将作为判断责任承担的重要依据。
四、建议与行动
审查合同：
- 首先，应仔细审查与单位签订的合同，明确合同性质、解除条件及责任承担等条款。
收集证据：
- 收集与解除合同相关的证据，如解除通知、工作记录、沟通记录等，以证明解除行为的合法性或违法性。
协商与调解：
- 尝试与单位进行协商或寻求第三方调解，以达成和解协议并避免法律纠纷。
法律途径：
- 若协商无果，可以向劳动争议仲裁委员会申请仲裁（针对劳动合同）或向人民法院提起诉讼（针对劳务合同），以维护自身合法权益。
如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。