如果违纪人员拒绝退赔，可以采取以下措施来应对：
内部纪律处分：
- 首先，根据单位内部的规章制度，对违纪人员进行相应的纪律处分。这可能包括警告、记过、降级、撤职等，具体处分措施应依据违纪的严重程度和单位规定来确定。
- 纪律处分不仅是对违纪人员的惩罚，也是对其行为的警示，有助于维护单位的纪律和秩序。
法律途径追偿：
- 如果违纪行为涉及财产损失，且违纪人员拒绝退赔，单位可以通过法律途径来追偿。这通常包括向法院提起民事诉讼，要求违纪人员赔偿因违纪行为造成的损失。
- 在提起诉讼前，应确保收集充分的证据，如违纪行为的记录、损失的计算依据等，以支持诉讼请求。
- 法院将根据事实和法律规定，判决违纪人员是否应承担赔偿责任，以及赔偿的具体金额。
申请强制执行：
- 如果法院判决违纪人员需要退赔，但违纪人员仍拒绝履行判决，单位可以向法院申请强制执行。
- 强制执行措施可能包括查封、扣押、拍卖违纪人员的财产，以强制其履行退赔义务。
- 法院将依法采取必要的执行措施，确保判决得到有效执行。
考虑刑事责任：
- 如果违纪行为构成犯罪，如贪污、受贿等，单位应向公安机关报案，由司法机关依法追究违纪人员的刑事责任。
- 在刑事诉讼过程中，单位可以作为被害人或证人参与诉讼，提供相关证据和陈述，协助司法机关查明事实，追究违纪人员的刑事责任。
- 刑事责任的追究不仅是对违纪人员的严厉惩罚，也是对社会公正和法治的维护。
在处理违纪人员拒绝退赔的问题时，还需要注意以下几点：
- 确保程序合法：在采取任何措施前，应确保程序合法合规，遵循单位内部的规章制度和法律法规的规定。
- 保护员工权益：在处理违纪问题时，应尊重和保护员工的合法权益，避免侵犯其人身权、财产权等。
- 加强预防和教育：除了事后处理外，单位还应加强预防和教育措施，提高员工的纪律意识和法律意识，减少违纪行为的发生。
如果在实际操作中遇到困难或疑问，建议直接向我咨询。作为专业律师，我将根据具体情况提供详细的法律建议和指导，帮助你妥善处理违纪人员拒绝退赔的问题。