旅行社保证金20万的退还规则需根据具体情形判断，核心规则如下：

1. 合同约定优先
   若旅行社与保证金缴纳方（如供应商、合作方）在合同中明确约定了保证金退还条件（如合作期限届满、无违约行为等），则优先按合同条款执行。例如：合同约定“合作期满后30日内无息退还”，则到期后旅行社应按约定退还。

2. 法定退还情形
   若合同未约定或约定不明，需根据《民法典》合同编相关规定处理：

   • 合同终止或解除：若双方合作终止（如协议到期、协商解除），且旅行社无违约行为，保证金应退还；
     
   • 违约抵扣：若旅行社存在违约行为（如未履行合同义务），对方有权扣除部分或全部保证金作为赔偿，剩余部分需退还；
     
   • 不可抗力：因不可抗力导致合同无法履行，双方均无过错时，保证金通常应退还，但可能需扣除已发生的合理费用。

3. 行政监管要求
   若保证金涉及旅游行政管理部门监管（如《旅游法》规定的“旅游服务质量保证金”），退还需满足法定条件：

   • 旅行社终止经营：需向旅游主管部门申请注销业务经营许可证，并提交退还保证金申请；
     
   • 无未结案件或投诉：旅游主管部门会核查旅行社是否存在未处理的投诉或案件，确认无误后才会批准退还；
     
   • 退还流程：通常需提交申请表、许可证注销证明等材料，退还周期可能较长（如3-6个月）。

4. 争议解决方式
   若双方对保证金退还存在争议，可通过以下途径解决：

   • 协商：优先通过友好协商达成一致；
     
   • 诉讼/仲裁：若协商无果，可依据合同约定向法院起诉或申请仲裁，由司法机关裁决退还金额及方式。

建议：若您涉及保证金退还问题，需先核查合同条款及保证金性质（民事约定还是行政监管），再根据具体情形主张权利。如有疑问，可直接向我咨询具体操作流程及风险防范。