结论：用人单位不与退休人员签订劳务合同并不违法，但出于明确双方权利义务、避免潜在纠纷的考虑，强烈建议签订书面劳务合同。以下是对此问题的详细分析：
一、法律性质与合同签订要求
劳务关系而非劳动关系：退休人员因已开始享受养老保险待遇或领取退休金，根据《中华人民共和国劳动合同法实施条例》第二十一条，其与用人单位之间建立的是劳务关系，而非劳动关系。这一法律性质的界定是判断是否需要签订劳务合同的基础。
无强制签订要求：对于劳务关系的建立，法律并无明文规定必须签订书面协议。因此，从法律层面讲，用人单位不与退休人员签订劳务合同并不构成违法。
二、签订劳务合同的必要性与重要性
明确双方权利义务：尽管签订劳务合同不是法定义务，但书面合同能够清晰、具体地约定工作内容、劳务报酬、工作时间、福利待遇、违约责任等重要事项，有助于双方明确各自的权利和义务。例如，可以明确约定退休人员的工作时间是否灵活，是否享受单位的某些福利待遇等。
纠纷解决依据：在发生纠纷时，书面劳务合同可以作为重要的证据，帮助快速、合理地划分责任，解决争议。缺乏书面合同可能导致权责不清晰、证据不足等问题，给纠纷的解决带来困难。比如，如果双方对劳务报酬有争议，书面合同可以明确约定报酬的数额和支付方式。
保障双方权益：签订书面劳务合同不仅是对退休人员的保护，也是对用人单位的保护。它有助于确保双方的权益都能得到合理、有效的保障，减少不必要的法律风险和经济损失。例如，可以明确约定退休人员在提供劳务过程中造成他人损害时的责任承担方式。
三、用人单位的责任与建议
积极响应签订请求：如果退休人员提出签订劳务合同的要求，用人单位应积极响应，并与退休人员协商确定合同条款，以满足其合理诉求。
主动签订以避风险：即使退休人员未主动提出，用人单位也应出于实际操作的便利性和双方权益的保障考虑，主动提出并签订书面劳务合同。
遵守法律规定：虽然不签订劳务合同不违法，但用人单位在用工过程中仍应遵守相关法律法规，确保用工行为的合法性和合规性。例如，不得要求退休人员从事超过其身体承受能力的工作。
四、退休人员的注意事项
保留证据：即使未签订书面劳务合同，退休人员也应尽量保留能够证明劳务关系存在的证据，如工资支付记录、工作安排凭证、工作证等，以便在发生纠纷时维护自己的合法权益。
明确权益：在提供劳务前，退休人员应与用人单位明确约定工作内容、报酬、工作时间等关键条款，避免口头约定带来的不确定性。
及时咨询：如果在提供劳务过程中遇到任何问题或纠纷，退休人员应及时向专业律师咨询，了解自己的权利和义务，以及可行的维权途径。
综上所述，虽然用人单位不与退休人员签订劳务合同并不违法，但从实际操作和双方权益保障的角度出发，签订书面劳务合同是一个明智且必要的选择。如果您在劳务合同签订或履行过程中遇到任何问题，可以直接向我咨询。