退赃金额的管理部门主要取决于案件所处的阶段以及案件的性质，以下是具体分析：
侦查阶段：
- 在刑事案件的侦查阶段，退赃金额通常由公安机关负责接收和管理。公安机关在侦查过程中，如果发现犯罪嫌疑人有退赃的意愿，会指导其将退赃金额交至指定的账户，并出具相关的收据或证明。这一阶段，公安机关的主要任务是收集证据、查明事实，退赃金额的管理也是为了确保案件的顺利进行和证据的完整性。
审查起诉阶段：
- 当案件进入审查起诉阶段后，退赃金额的管理权通常会转移至检察机关。检察机关在审查案件时，会对退赃情况进行核实，并确保退赃金额被妥善保管。如果案件最终被提起公诉，退赃金额可能会作为量刑情节之一，在法庭审理过程中被考虑。
审判阶段：
- 在审判阶段，如果法院认定被告人有退赃行为，并且退赃金额已经交至法院或相关指定账户，法院会在判决中明确退赃金额的处理方式。通常情况下，退赃金额会用于赔偿被害人的损失，或者根据案件具体情况进行其他处理。如果退赃金额尚未交至法院，法院可能会在判决中责令被告人限期退赃。
特殊情况：
- 在某些特殊情况下，如涉及多个部门或复杂案件，退赃金额的管理可能涉及多个部门的协作。例如，在涉及经济犯罪的案件中，可能还需要财政、审计等部门的参与和监督。
法律建议：
- 如果您或您的亲友涉及刑事案件，并有退赃的意愿，建议及时与办案机关（如公安机关、检察机关或法院）沟通，了解具体的退赃流程和要求。
- 在退赃过程中，务必保留好相关的收据或证明，以便在后续的法律程序中证明自己的退赃行为。
- 如果您对退赃金额的管理或处理有疑问，可以直接向我咨询，我会根据您的具体情况提供专业的法律意见。
可能涉及的法律后果：
- 退赃行为通常被视为犯罪嫌疑人或被告人的悔罪表现，可能在量刑时得到从轻或减轻处罚的考虑。
- 如果未按照办案机关的要求及时退赃，可能会影响案件的进展和量刑结果。
- 在某些情况下，如果退赃金额被挪用或未妥善保管，相关责任人员可能会承担法律责任。
希望以上分析能对您有所帮助。如果您有任何其他问题或需要进一步的法律咨询，请随时向我提问。