留置期间让家人退赃50万，这一行为本身并不直接决定案件的严重程度，但退赃的金额和退赃行为对案件的处理和最终判决有重要影响。以下从多个角度进行分析：

1. 退赃行为对案件性质的影响：

   • 退赃是犯罪嫌疑人或被告人表明悔罪态度、减少社会危害性的一种方式。在刑事案件中，退赃行为通常会被视为一个积极的因素，可能对量刑产生有利影响。
   • 然而，退赃并不改变案件本身的性质。如果案件本身构成犯罪，如诈骗罪、贪污罪等，那么退赃只是量刑时的一个考虑因素，而非决定案件是否构成犯罪的关键因素。

2. 退赃金额对案件处理的影响：

   • 退赃金额的大小是衡量犯罪嫌疑人或被告人悔罪程度的一个重要指标。一般来说，退赃金额越大，表明悔罪态度越诚恳，对社会的危害性也相对较小。
   • 在具体案件中，退赃50万可能是一个相对较大的金额，这可能会使法院在量刑时给予一定的从轻或减轻处罚的考虑。但具体量刑还需结合其他因素，如犯罪情节、犯罪手段、犯罪后果等。

3. 留置期间退赃的特殊性：

   • 留置是监察机关在调查涉嫌严重职务违法或职务犯罪时，对被调查人采取的一种限制人身自由的措施。在留置期间，被调查人及其家属可能会面临较大的心理压力和经济压力。
   • 如果被调查人在留置期间让家人退赃，这可能表明其愿意配合调查、认罪悔罪的态度。这种态度在后续的刑事诉讼程序中可能会得到一定的认可，从而对案件处理产生积极影响。

4. 法律后果与建议：

   • 退赃行为本身不会改变案件的定性，但可能影响量刑。如果案件最终构成犯罪，退赃50万可能会作为量刑时的一个从轻或减轻处罚的情节。
   • 对于被调查人或其家属来说，在留置期间退赃需要谨慎考虑。一方面，退赃可以表明悔罪态度；另一方面，也需要确保退赃行为合法合规，避免因为退赃不当而引发新的法律问题。
   • 建议：在面临留置或刑事调查时，应及时咨询专业律师，了解自己的权利和义务，以及退赃行为的法律后果。律师可以根据具体情况提供专业的法律建议和帮助，确保被调查人或其家属的合法权益得到保障。

综上所述，留置期间让家人退赃50万并不直接决定案件的严重程度，但退赃行为和金额对案件处理和最终判决有重要影响。在面临此类情况时，建议及时咨询专业律师以获取更具体的法律建议。