当退休返聘人员不愿签订劳务合同时，确实会带来一定的风险，这些风险主要体现在以下几个方面：

一、法律权益保护缺失

1. 争议解决困难：没有劳务合同作为法律依据，一旦退休返聘人员与工作单位之间发生纠纷或冲突，如工作时间、薪资水平、工作环境等方面的争议，双方将难以通过民事调解、民事诉讼等法律途径来有效维权。这可能导致争议长时间悬而未决，甚至引发更复杂的法律问题。

2. 责任归属不明：没有明确的合同来界定双方的权益与义务，责任归属问题将变得模糊。在意外事件发生时，难以准确判定责任方，这可能对雇佣双方都造成不利影响。

二、雇佣关系不稳定

1. 互信关系受损：不签订劳务合同可能会让双方对彼此的承诺和信任产生怀疑，从而影响工作的有效进行。缺乏合同约束，双方可能更容易产生分歧和矛盾，不利于建立长期稳定的雇佣关系。

2. 管理难度增加：对于用人单位而言，没有劳务合同作为管理依据，将增加对退休返聘人员的管理难度。这可能导致用人单位在人员调配、工作安排、绩效考核等方面面临更多挑战。

三、建议与措施

1. 积极沟通：用人单位应与退休返聘人员进行积极沟通，了解其不愿签订合同的原因，并尝试通过解释合同的重要性和必要性来消除其顾虑。

2. 提供合同范本：可以向退休返聘人员提供一份明确、具体的劳务合同范本，详细列明双方的权利和义务，以及工作内容、薪资待遇、工作时间等关键条款，以增强其签约的信心。

3. 寻求法律咨询：如果退休返聘人员仍然坚持不签订合同，用人单位可以寻求专业法律咨询，了解在这种情况下的法律风险和应对措施。

4. 考虑其他保障方式：在无法签订劳务合同的情况下，用人单位可以考虑通过其他方式来保障双方的权益，如签订备忘录、协议书等，虽然这些文件可能不具备劳务合同的全部法律效力，但在一定程度上也能为双方提供一定的保障。

综上所述，退休返聘人员不愿签订劳务合同确实会带来一定的风险。为了保障双方的权益和工作的顺利进行，用人单位应积极采取措施，争取与退休返聘人员签订劳务合同，并明确双方的权利和义务。在无法签订合同的情况下，也应寻求其他有效的保障方式。