结论：是否需要退还违纪款，并不取决于款项是否花在自己身上，而是取决于款项的性质、来源以及违纪行为的性质和后果。一般来说，如果违纪款属于公款或应当归公家所有的资金，即使未花在自己身上，也需要退还。
分析说明：
款项性质与来源：
- 如果违纪款是公款，即属于国家、集体或单位所有的资金，那么无论款项是否被个人使用，都应当退还。因为公款的使用必须遵循严格的财务制度和审批程序，任何未经授权的使用都构成违纪或违法行为。
- 如果违纪款并非公款，而是个人通过不正当手段获取的他人财物，那么同样需要退还。因为这种行为侵犯了他人的财产权，退还款项是恢复原状、赔偿损失的必要步骤。
违纪行为的性质与后果：
- 违纪行为的性质决定了是否需要退还违纪款。如果违纪行为涉及贪污、挪用公款等严重违法行为，那么不仅需要退还违纪款，还可能面临刑事处罚。
- 即使违纪行为不构成犯罪，但违反了单位内部的规章制度或职业道德规范，也可能需要退还违纪款，并接受相应的纪律处分。
退还的法律依据：
- 根据《中华人民共和国刑法》的相关规定，贪污、挪用公款等违法行为需要退还赃款，并可能面临罚金或没收财产的处罚。
- 在民事法律关系中，如果个人通过不正当手段获取了他人财物，也应当根据《中华人民共和国民法典》的相关规定，承担返还财产、赔偿损失等民事责任。
特殊场景：
- 如果违纪款已经用于公家事务，但并未经过合法的审批程序或违反了财务制度，那么仍然需要退还。因为即使款项用于了公家事务，也不能改变其未经授权使用的违纪性质。
- 在某些情况下，如果违纪款已经无法直接退还（如已经用于购买物品或支付费用），那么可能需要通过其他方式（如赔偿、折价退还等）来弥补损失。
后续行动建议：
- 如果您涉及违纪款的问题，建议尽快与相关部门或单位沟通，了解具体的退还要求和程序。
- 如果您对违纪款的性质、来源或退还要求有疑问，可以咨询专业的法律人士或律师，以便更好地维护自己的合法权益。
法律后果提醒：
- 不退还违纪款可能面临法律责任，包括民事赔偿、行政处罚甚至刑事处罚。
- 因此，建议您认真对待违纪款的问题，积极配合相关部门的调查和处理工作，以避免不必要的法律风险。
如有其他疑问或需要进一步的法律帮助，请随时向我咨询。