结论前置：用人单位不与退休人员签订劳务协议并不违法，但出于明确双方权利义务、避免潜在纠纷的考虑，我强烈建议签订书面劳务协议。

详细分析如下：

一、法律性质与合同签订要求

1. 劳务关系而非劳动关系：退休人员因已开始享受养老保险待遇或领取退休金，根据《中华人民共和国劳动合同法实施条例》第二十一条，其与用人单位之间建立的是劳务关系，而非劳动关系。这一法律性质的界定是判断是否需要签订劳务协议的基础。

2. 无强制签订要求：劳务关系受《中华人民共和国民法典》合同编调整，双方基于平等自愿原则协商约定权利义务。现行法律法规并未明确规定退休人员必须签订书面劳务协议，因此，从法律层面讲，用人单位不与退休人员签订劳务协议并不构成违法。

二、签订劳务协议的必要性与重要性

1. 明确双方权利义务：尽管签订劳务协议不是法定义务，但书面协议能够清晰、具体地约定工作内容、劳务报酬、工作时间、福利待遇、违约责任等重要事项，有助于双方明确各自的权利和义务，减少因理解不一致而产生的纠纷。

2. 纠纷解决依据：在发生纠纷时，书面劳务协议可以作为重要的证据，帮助快速、合理地划分责任，解决争议。缺乏书面协议可能导致权责不清晰、证据不足等问题，给纠纷的解决带来困难。

3. 保障双方权益：签订书面劳务协议不仅是对退休人员的保护，也是对用人单位的保护。它有助于确保双方的权益都能得到合理、有效的保障，减少不必要的法律风险和经济损失。例如，如果退休人员在工作中受伤，书面协议可以明确双方的责任分担，避免不必要的法律纠纷。

三、用人单位的责任与建议

1. 积极响应签订请求：如果退休人员提出签订劳务协议的要求，用人单位应积极响应，并与退休人员协商确定合同条款，以满足其合理诉求。

2. 主动签订以避风险：即使退休人员未主动提出，用人单位也应出于实际操作的便利性和双方权益的保障考虑，主动提出并签订书面劳务协议。这有助于建立和谐的劳动关系，提升企业的社会形象。

3. 遵守法律规定：虽然不签订劳务协议不违法，但用人单位在用工过程中仍应遵守相关法律法规，确保用工行为的合法性和合规性。例如，用人单位应按时支付劳务报酬，提供必要的工作条件等。

额外建议：如果用人单位决定不与退休人员签订书面劳务协议，也应尽量通过其他方式（如电子邮件、微信聊天记录等）留存关键证据，以证明双方的权利义务关系。这样，在发生纠纷时，至少有一些证据可以支持自己的主张。

总结：虽然用人单位不与退休人员签订劳务协议并不违法，但从实际操作和双方权益保障的角度出发，签订书面劳务协议是一个明智且必要的选择。如果你在这方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。