首先，我要明确的是，商人被滞留以及通知缴纳退款这两个情况，涉及到的是两个不同的法律问题。被滞留可能涉及到的是人身自由权的问题，而缴纳退款则可能是与合同纠纷相关。

针对“人什么时候可以放出来”这个问题，我无法直接给出具体的答案，因为这取决于多个因素，包括商人被滞留的具体原因、是否有合法的拘留手续、以及相关部门对案件的处理进度等。如果商人是因为涉及某起案件而被警方或相关部门滞留，那么释放的时间将取决于案件的调查进展和法律程序。

我建议家属或相关人士首先了解商人被滞留的具体原因和法律依据，然后通过与相关部门沟通或咨询专业律师来了解更多的法律信息和可能的解决方案。

至于“缴纳退款”的问题，这通常与合同纠纷相关。如果商人因为某种合同关系需要退还款项，那么应该根据合同的具体条款和法律规定来处理。在这种情况下，我建议商人或相关人士仔细审查合同条款，了解退款的具体要求和程序，并尽快与对方协商解决退款事宜。

总的来说，这两个问题都需要根据具体的法律情况和事实来进行分析和处理。如果你需要更详细的法律建议或帮助，请随时向我咨询，我会尽我所能为你提供专业的法律服务。