针对诈骗人拒不签字、不愿退赃的情况，可采取以下法律措施：

1. 刑事强制措施与退赃义务
   根据《刑法》第六十四条，犯罪分子违法所得的一切财物应当予以追缴或责令退赔。即使诈骗人拒绝签字或退赃，司法机关仍可通过查封、扣押、冻结其财产（如银行账户、房产、车辆等）强制执行退赃。若其隐匿财产，可申请法院调查其财产线索，或通过《刑事诉讼法》规定的“特别程序”追缴。

2. 量刑从重情节
   拒不退赃属于“拒不认罪悔罪”的表现，根据《最高人民法院、最高人民检察院关于办理诈骗刑事案件具体应用法律若干问题的解释》，在量刑时可酌情从重处罚。若诈骗人已被采取刑事强制措施（如拘留、逮捕），其拒不退赃的行为可能影响取保候审或缓刑的适用。

3. 民事赔偿与强制执行
   若刑事案件中未完全追回损失，被害人可单独提起民事诉讼要求赔偿。判决生效后，若诈骗人仍不履行，可申请法院强制执行其名下财产（包括未来收入、配偶共同财产中属于其的部分等）。若其恶意转移财产，可依据《民法典》第五百三十八条行使撤销权。

4. 行政处罚与信用惩戒
   若诈骗人被处以罚金但拒不缴纳，法院可将其纳入失信被执行人名单，限制高消费、出境等，并可能对其采取司法拘留措施。此外，根据《反电信网络诈骗法》，其违法行为还可能面临行政罚款、行业禁入等联合惩戒。

操作建议：

• 立即向办案机关（公安局、检察院）提交书面申请，要求追缴赃款并固定诈骗人拒不退赃的证据；
  
• 同步准备民事诉讼材料，确保刑事追赃与民事赔偿“双管齐下”；
  
• 关注诈骗人财产动态，若发现转移迹象，及时申请财产保全。
  

如有具体案件细节（如诈骗金额、当前诉讼阶段等），可进一步向我说明，我会结合实际情况提供更精准的应对方案。