结论：刚签返聘合同单位就要辞退你，是否合法需视具体情况而定，主要取决于返聘合同中的约定以及辞退的理由是否符合法律规定。
分析：
返聘合同的性质：
- 返聘合同，通常指的是已达到或超过法定退休年龄的人员，与用人单位之间建立的用工关系所签订的合同。这种合同在法律上可能被视为劳务合同，而非劳动合同，因为退休人员已不再属于劳动法的保护范围。但具体还需根据合同内容、双方约定以及地方性法规来判断。
辞退的合法性：
- 如果返聘合同被视为劳务合同：那么辞退的合法性将主要依据合同中的约定。如果合同中明确规定了辞退的条件和程序，且用人单位在辞退时遵守了这些规定，那么辞退可能是合法的。反之，如果用人单位违反了合同中的约定，辞退则可能是违法的。
- 如果返聘合同在特定情况下被视为劳动合同（如某些地方性法规或政策有特殊规定）：那么辞退的合法性将受到劳动法的保护。在这种情况下，用人单位必须依法提供合理的辞退理由，如员工严重违反公司规章制度、不能胜任工作等，并遵循法定的辞退程序，如提前通知、支付经济补偿等。
可能的法律后果：
- 如果辞退被认定为违法，您有权要求用人单位继续履行合同或支付赔偿金。赔偿金的数额将根据您的实际损失、合同中的约定以及相关法律法规来确定。
- 如果辞退被认定为合法，但用人单位未按照合同或法律规定支付应得的报酬或补偿，您同样有权要求用人单位支付。
建议：
- 审查返聘合同：首先，仔细审查您与用人单位签订的返聘合同，特别是关于辞退的条款和条件。
- 收集证据：如果用人单位辞退您，尽量收集相关证据，如辞退通知、合同文本、工作记录等，以备后续维权之需。
- 咨询专业律师：由于返聘合同的法律性质可能因地区和具体情况而异，建议您咨询专业律师以获取更具体的法律建议。我可以为您提供劳动工伤领域的专业法律咨询，帮助您分析情况并制定合适的维权策略。
进一步思考：
- 在签订返聘合同时，应明确约定双方的权利和义务，特别是关于辞退的条件和程序，以避免后续纠纷。
- 如果用人单位在辞退过程中存在违法行为，您应及时采取措施维护自己的合法权益，包括向劳动监察部门投诉或提起法律诉讼。