关于违规返还土地出让金，通常由县级以上人民政府土地行政主管部门（如自然资源局）或相关审计、监察部门做出追回决定，具体取决于违规行为的发现主体及性质。以下从不同角度详细分析：
1. 土地行政主管部门的职责与权限
根据《中华人民共和国土地管理法》及相关法规，县级以上人民政府土地行政主管部门（如自然资源局）是土地出让金管理的主要责任部门。若发现违规返还土地出让金（如未按规定程序返还、返还对象不符合条件、返还金额超出规定范围等），土地行政主管部门有权责令限期改正，并追回违规返还的资金。
法律依据：
- 《土地管理法》第六十六条：县级以上人民政府土地行政主管部门对违反土地管理法律、法规的行为进行监督检查。
- 《城市房地产管理法》第十四条：土地使用权出让金应当全部上缴财政，列入预算，用于城市基础设施建设和土地开发。任何单位或个人不得截留、挪用或违规返还。
2. 审计或监察部门的介入
若违规返还行为涉及财政资金管理问题（如贪污、挪用、滥用职权等），审计部门或监察机关可能通过审计或调查发现违规线索，并依据《中华人民共和国审计法》或《中华人民共和国监察法》要求相关部门追回资金，或直接责令整改。
典型场景：
- 审计部门在财政收支审计中发现土地出让金被违规返还，会向土地行政主管部门或财政部门发出整改通知，要求追回资金。
- 监察机关在调查公职人员职务违法时，若发现违规返还土地出让金涉及腐败行为，会依法处理相关责任人，并督促追回资金。
3. 司法机关的强制执行
若违规返还行为已造成国有资产损失，且相关部门未主动追回，司法机关（如检察院、法院）可能通过公益诉讼或刑事诉讼介入。例如：
- 检察院可依据《民事诉讼法》或《行政诉讼法》提起公益诉讼，要求责任主体返还土地出让金。
- 法院在审理相关案件时，若判决确认违规返还行为无效，会强制责任方返还资金。
4. 多部门联合追回的常见情况
实践中，违规返还土地出让金的追回往往涉及多部门协作。例如：
- 联合调查组：由土地、财政、审计、监察等部门组成，共同调查违规行为，并分工追回资金。
- 上级政府督办：若违规行为影响较大，上级政府可能直接督办，要求下级部门限期追回。
法律建议
- 若您是相关权利人（如被违规返还方或受损方），可向当地自然资源局、审计局或监察委举报违规行为，要求启动追回程序。
- 若您是责任主体（如违规返还的部门或企业），应主动配合调查，尽快返还资金，避免行政处罚或刑事责任。
- 若涉及复杂纠纷（如返还对象主张合法权利），建议委托律师分析合同效力、资金流向等，制定应对策略。
如有进一步疑问或需具体案例分析，可直接向我咨询，我会结合您的实际情况提供详细解答。