用人单位不跟退休人员签劳务合同并不违法，但出于明确双方权利义务、避免潜在纠纷的考虑，强烈建议签订书面劳务合同。以下是对此问题的详细分析：
一、法律性质与合同签订要求
劳务关系而非劳动关系：
- 退休人员因已开始享受养老保险待遇或领取退休金，根据《中华人民共和国劳动合同法实施条例》第二十一条，其与用人单位之间建立的是劳务关系，而非劳动关系。这一法律性质的界定是判断是否需要签订劳务合同的基础。
无强制签订要求：
- 对于劳务关系的建立，我国法律法规并无明文规定必须签订书面协议。因此，从法律层面讲，用人单位不与退休人员签订劳务合同并不构成违法。
二、签订劳务合同的必要性与重要性
明确双方权利义务：
- 尽管签订劳务合同不是法定义务，但书面合同能够清晰、具体地约定工作内容、劳务报酬、工作时间、福利待遇、违约责任等重要事项，有助于双方明确各自的权利和义务。例如，可以明确约定退休人员的工作时间是否灵活，劳务报酬是按月支付还是按项目支付等。
纠纷解决依据：
- 在发生纠纷时，书面劳务合同可以作为重要的证据，帮助快速、合理地划分责任，解决争议。缺乏书面合同可能导致权责不清晰、证据不足等问题，给纠纷的解决带来困难。比如，如果双方对劳务报酬有争议，书面合同可以明确约定报酬的数额和支付方式，从而避免纠纷。
保障双方权益：
- 签订书面劳务合同不仅是对退休人员的保护，也是对用人单位的保护。它有助于确保双方的权益都能得到合理、有效的保障，减少不必要的法律风险和经济损失。例如，合同中可以约定退休人员在工作过程中因个人原因造成损失的责任承担方式，从而保护用人单位的合法权益。
三、用人单位的责任与建议
积极响应签订请求：
- 如果退休人员提出签订劳务合同的要求，用人单位应积极响应，并与退休人员协商确定合同条款，以满足其合理诉求。这有助于建立良好的用工关系，提高退休人员的工作积极性和满意度。
主动签订以避风险：
- 即使退休人员未主动提出，用人单位也应出于实际操作的便利性和双方权益的保障考虑，主动提出并签订书面劳务合同。这可以避免未来可能出现的纠纷和法律风险。
遵守法律规定：
- 虽然不签订劳务合同不违法，但用人单位在用工过程中仍应遵守相关法律法规，确保用工行为的合法性和合规性。例如，应按时支付劳务报酬，不得克扣或无故拖欠；应保障退休人员的工作安全和健康等。
四、特殊情况下的考虑
- 如果退休人员与用人单位之间存在特殊的约定或情况，如退休人员继续享受原单位的某些福利待遇、用人单位对退休人员有特殊的管理要求等，这些都可以在劳务合同中明确约定，以避免未来可能出现的争议。
综上所述，虽然用人单位不与退休人员签订劳务合同并不违法，但从实际操作和双方权益保障的角度出发，签订书面劳务合同是一个明智且必要的选择。如果你在这方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。