结论前置：商人被留置二十几天后被要求退赃，需从配合调查、核实退赃要求合法性、保留证据、寻求法律帮助等角度综合应对。以下为具体分析：

1. 配合调查是首要义务
   根据《监察法》第二十二条，留置是监察机关对涉嫌严重职务违法或犯罪的被调查人采取的强制措施，留置期限一般不超过三个月。被留置期间，商人有义务配合调查，如实说明情况、提供证据材料。若调查机关要求退赃，通常意味着已掌握部分违法所得证据，此时应避免抗拒或隐瞒，否则可能构成“拒不退赃”情节，加重法律责任。

2. 核实退赃要求的合法性
   需明确退赃的法律依据及范围：

   • 法律依据：若商人涉嫌贪污贿赂、失职渎职等职务犯罪，根据《刑法》第六十四条，犯罪分子违法所得的一切财物应予以追缴或责令退赔；若涉嫌其他经济犯罪（如诈骗、非法经营），退赃可能作为量刑情节。
     
   • 范围界定：退赃应限于“违法所得”，即通过违法手段获取的财产。若调查机关要求退还合法收入或与案件无关的财产，商人有权拒绝，并可要求调查机关出具书面依据（如《扣押决定书》《退赃通知书》）。

3. 保留证据，避免权益受损

   • 书面确认：要求调查机关出具退赃的书面通知，明确退赃金额、性质（如违法所得、赃款赃物）及法律依据。
     
   • 资金流向：通过银行转账等可追溯方式退赃，避免现金交付；若需现金，应要求调查机关出具收据并签字盖章。
     
   • 同步沟通：若对退赃金额或性质有异议，可书面提出异议并附证据（如合同、转账记录），要求调查机关复核。

4. 及时寻求法律帮助

   • 律师介入：留置期间，商人可委托律师作为辩护人，律师有权会见被留置人、了解案情，并向调查机关提出法律意见。例如，若商人认为退赃要求超出违法所得范围，律师可协助申请复议或申诉。
     
   • 程序监督：律师可监督调查程序是否合法，如留置期限是否超期、退赃是否与案件关联等，防止权力滥用。

5. 退赃后的法律后果

   • 量刑影响：根据《刑法》及相关司法解释，退赃是重要的量刑情节。若商人主动退赃且认罪认罚，可能从轻或减轻处罚；若拒不退赃，则可能被认定为“无悔罪表现”，加重处罚。
     
   • 财产返还：若退赃后案件被撤销或商人被宣告无罪，可依据《国家赔偿法》申请国家赔偿，要求返还退赃款项及利息。

行动建议：

1. 立即委托专业律师介入，了解案情及退赃要求的合法性；
   
2. 配合调查，但拒绝签署无事实依据的认罪材料；
   
3. 保留所有退赃相关的书面证据，避免口头承诺；
   
4. 若对退赃金额或程序有异议，通过律师提出书面异议并申请复核。
   

如有进一步疑问，可直接向我咨询，我将结合具体案情提供详细法律分析。