关于“留置人员一定要退赃款吗”的问题，我可以从以下几个角度进行分析：
法律义务与责任：
- 留置人员如果涉嫌犯罪，且存在违法所得，那么根据《中华人民共和国刑法》的相关规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。这意味着，从法律层面来看，留置人员有义务退还其违法所得。
退赃对量刑的影响：
- 退赃在一定程度上可以表明犯罪嫌疑人的认罪态度，有助于争取宽大处理。但需要注意的是，退赃并不属于“减轻”情节，而是“从轻”情节。这意味着全额退赃并不可能直接降低量刑档次，而只是在原有刑期档次内稍作减免。
实际操作中的考虑：
- 在实际操作中，家属和留置人员需要综合考虑家庭财务状况、案件具体情况以及退赃可能带来的法律后果。如果案情有争议或有辩护空间，不建议倾家荡产去凑够退赃金额，而应量力而行，表明态度。
特殊情况的处理：
- 如果留置人员确实没有能力退赃，或者退赃金额远超其实际违法所得，那么可以通过与办案单位沟通，说明实际情况，争取合理的处理方式。
综上所述，留置人员是否一定要退赃款，并没有绝对的答案。这需要根据具体案件情况、法律义务以及实际能力来综合考虑。如果留置人员或其家属面临此类问题，建议尽快咨询专业律师，以便获得更具体的法律建议和指导。作为赵凌锋律师，我擅长刑事辩护领域，如有需要，可直接向我提问。