退休返聘人员不签合同，单位和个人确实存在一定的风险，但风险大小需结合具体情况分析。以下从单位和个人两个角度，详细阐述不签合同可能带来的风险：
单位角度
劳动纠纷风险：
- 退休返聘人员与单位之间通常形成的是劳务关系，而非劳动关系。然而，如果双方未签订书面合同，一旦发生纠纷（如报酬支付、工作时间、工作内容等），退休返聘人员可能主张与单位存在事实劳动关系，从而要求单位承担劳动法上的义务，如支付加班费、经济补偿金等。
- 法律依据：虽然《劳动合同法》主要规范劳动关系，但未签订书面合同在劳务关系中也可能引发争议，且法院在审理时可能会根据实际情况判断双方是否构成事实劳动关系。
管理难度增加：
- 没有书面合同作为依据，单位在管理退休返聘人员时可能面临更多困难。例如，对于工作任务的分配、工作质量的考核、违约责任的追究等，都可能因缺乏明确约定而引发争议。
税务合规风险：
- 单位向退休返聘人员支付报酬时，需要按照税法规定代扣代缴个人所得税。如果未签订合同，可能影响税务申报的准确性和合规性，增加税务风险。
个人角度
报酬保障风险：
- 退休返聘人员如果未与单位签订书面合同，可能面临报酬支付无保障的风险。一旦单位拖欠或拒付报酬，退休返聘人员可能难以通过法律途径维护自己的权益。
工作条件保障风险：
- 没有书面合同，退休返聘人员可能难以就工作条件（如工作时间、工作地点、工作环境等）与单位进行明确约定。这可能导致退休返聘人员在工作过程中处于不利地位，难以维护自己的合法权益。
税务责任风险：
- 退休返聘人员作为纳税人，有义务按照税法规定缴纳个人所得税。如果未签订合同，可能影响个人税务申报的准确性和合规性，甚至可能面临税务处罚。不过，从实际操作层面看，个人税务责任更多取决于其实际收入情况，合同缺失不直接导致税务责任加重，但可能增加税务处理的复杂性。
建议
- 单位：应与退休返聘人员签订书面合同，明确双方的权利义务关系，包括工作内容、工作时间、报酬支付、违约责任等条款。这有助于降低劳动纠纷风险，提高管理效率，确保税务合规。
- 个人：在接受退休返聘时，应主动要求与单位签订书面合同，以保障自己的合法权益。同时，应了解并遵守税法规定，按时缴纳个人所得税。
总结来说，退休返聘人员不签合同，单位和个人都面临一定的风险。为了降低风险，双方应签订书面合同，明确各自的权利义务关系。如果你有进一步的法律问题或需要具体的法律建议，可以直接向我咨询。