收回闲置土地时，是否需要退还出让收入，需根据具体情况判断，具体分析如下：

1. 因政府原因导致土地闲置
   若土地闲置是由于政府规划调整、未按时交付土地、行政审批延误等政府原因导致，根据《闲置土地处置办法》第十二条，政府通常需承担相应责任。此时，土地出让收入一般无需退还，但可能通过延长开发期限、调整土地用途等方式处置，具体需结合双方协商或合同约定处理。

2. 因企业原因导致土地闲置
   若土地闲置是由于企业自身原因（如未按时动工、资金不足、项目停滞等），根据《闲置土地处置办法》第十四条，政府有权无偿收回土地使用权。此时，已缴纳的土地出让收入通常不予退还，且企业可能需承担违约金或其他法律责任。但若企业已投入开发资金，可协商部分补偿，具体需以合同条款或地方政策为准。

3. 合同另有约定或地方政策差异
   土地出让合同中可能对闲置土地的处置方式（如退还出让收入的比例、条件等）有特殊约定，此时需优先遵循合同条款。此外，部分地方政府可能出台细化政策（如退还部分出让收入、给予补偿等），需结合当地规定综合判断。

建议：若涉及闲置土地处置，需首先核查土地出让合同条款，并咨询当地自然资源部门或法律专业人士，以明确具体权利义务。如有进一步疑问，可直接向我咨询具体法律问题。