关于工程保证金五十万在退场时的退还问题，核心前提是需明确保证金性质、合同约定及退场原因，以下分情况说明：

1. 合同正常履行完毕后的退场
   若工程因竣工、验收合格或合同约定工期届满而退场，保证金退还通常遵循以下流程：

   • 合同条款优先：首先核查施工合同中关于保证金退还的约定（如退还时间、条件、是否扣除违约金等）。若合同明确“验收合格后X日内退还”，则发包方应按约履行。
     
   • 无约定时的处理：若合同未约定，根据《民法典》第五百八十七条，债务人履行债务后，定金（若保证金性质为定金）应当抵作价款或者收回。此时，承包方可要求全额退还保证金，但需提供保证金支付凭证及退场证明。
     
   • 退还方式：通常为银行转账，需双方确认收款账户信息，避免纠纷。

2. 因承包方违约导致的退场
   若退场原因是承包方未履行合同义务（如工期延误、质量不达标等），发包方可能扣除部分或全部保证金：

   • 合同约定扣除：若合同明确“违约时扣除保证金X%”，则发包方有权按约扣除，但需提供违约证据（如监理报告、整改通知等）。
     
   • 无约定时的处理：若合同未约定扣除比例，发包方需证明实际损失，且扣除金额不得超过保证金总额。例如，因工期延误导致发包方额外支付赶工费10万元，则最多扣除10万元，剩余40万元应退还。
     
   • 争议解决：若双方对扣除金额有争议，可通过协商、调解或诉讼解决。建议承包方在退场前与发包方书面确认扣除金额，避免后续纠纷。

3. 因发包方原因导致的退场
   若退场原因是发包方违约（如未支付工程款、单方解除合同等），承包方有权要求全额退还保证金，并可主张赔偿：

   • 全额退还：根据《民法典》第五百七十七条，发包方违约导致合同解除的，应退还保证金并赔偿损失（如预期利润、临时设施费等）。
     
   • 证据固定：承包方需保留发包方违约的证据（如催款函、解除合同通知等），以便在诉讼中主张权利。
     
   • 优先受偿权：若工程已完工部分，承包方还可依据《民法典》第八百零七条，就工程价款主张优先受偿权，保证金退还可与此一并主张。

建议行动步骤：

1. 核查施工合同中关于保证金退还的条款；
   
2. 整理退场原因的相关证据（如验收报告、违约通知、沟通记录等）；
   
3. 与发包方协商退还金额及时间，并书面确认；
   
4. 若协商无果，可向当地建设行政主管部门投诉或提起诉讼。
   

如有进一步疑问或需协助起草法律文件，可直接向我咨询。