结论：退休返聘单位没有签劳务协议，虽不构成法律上的直接违法行为，但为明确双方权益、减少潜在纠纷，建议签订劳务协议。以下从多个角度进行详细分析：
一、法律性质与规定
劳务关系非劳动关系：退休人员因已享受养老保险待遇或达到法定退休年龄，与用人单位之间形成的是劳务关系，而非劳动关系。根据《最高人民法院关于审理劳动争议案件适用法律问题的解释（一）》第三十二条，此类用工争议应按劳务关系处理。因此，法律并不强制要求必须签订书面劳务合同，但这并不意味着签订书面合同没有必要性。
合同效力与内容：即便未签订书面劳务协议，双方基于实际劳务行为形成的劳务关系仍受法律保护。但为明确双方权利义务，建议签订书面协议，详细约定工作内容、时间、报酬、福利待遇等关键条款。
二、未签劳务协议可能面临的问题
报酬支付争议：无合同约定可能导致劳务报酬的标准、支付方式及时间不明确，进而引发分歧。用人单位可能随意调整报酬或延迟支付，退休人员难以维权。
工作内容与职责不明：缺乏合同界定，工作任务、工作时间及强度等可能模糊不清，容易导致双方对工作范围的争议。
意外事故与责任承担：若退休人员在工作中发生意外受伤，无合同明确责任归属，将难以确定医疗费用及赔偿责任的承担方。根据《中华人民共和国民法典》第一千一百九十二条，提供劳务期间因劳务受到损害的，根据双方各自的过错承担相应的责任。但若无合同约定，过错认定可能变得复杂。
三、应对措施与建议
协商补签合同：为明确双方权利义务，建议退休人员与用人单位友好协商，尽快补签劳务合同。合同中应详细约定劳务报酬、工作内容、工作时间、福利待遇、意外风险等重要事项。
收集证据：即便无书面合同，退休人员也应注重收集能证明劳务关系存在及工作情况的证据，如工作证、考勤记录、工资支付凭证、聊天记录等。这些证据在后续纠纷中至关重要。
寻求调解与法律途径：若因未签合同引发纠纷，首先可尝试向用人单位内部调解机构或劳动调解组织申请调解。调解不成时，可根据收集的证据向人民法院提起民事诉讼，通过法律途径维护自身合法权益。
四、特殊情况下的注意事项
工伤处理：退休返聘人员在工作中发生工伤等事故时，其认定和赔偿等问题可能与普通劳动者有所不同。建议根据具体情况，依据相关法律法规来确定责任和赔偿方式，并在合同中提前约定相关条款。
法律关系认知：用人单位和退休返聘人员都应清楚了解并接受双方建立的是劳务关系而非劳动关系。这有助于双方更好地理解和遵守合同条款，减少误解和纠纷的发生。
总结：退休返聘单位没有签劳务协议虽不构成直接违法，但为明确双方权益、减少纠纷风险，签订书面合同至关重要。若未签订，退休人员应通过协商、收集证据、寻求调解或法律途径等方式维护自身权益。在整个过程中，了解并依据相关法律法规进行操作是关键。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。