结论：是否可以不继续支付这2万元，取决于调解协议的具体内容、双方的真实意思表示以及是否存在法定撤销或变更的情形。以下从不同角度进行分析：
一、调解协议的法律效力
调解协议的约束力：
- 若双方已签署书面调解协议，且该协议内容合法、双方意思表示真实，则调解协议对双方具有法律约束力。根据《中华人民共和国人民调解法》第三十三条，经人民调解委员会调解达成的调解协议，双方当事人认为有必要的，可以共同向人民法院申请司法确认，经确认后具有强制执行力。
- 若对方已退回2万元，可能表明其不再主张该款项，但需明确其退回行为是否构成对调解协议的变更或放弃。若退回行为未明确表示放弃权利，且调解协议未约定退回即视为放弃的条款，则对方仍可能主张你继续履行支付义务。
调解协议的变更或撤销：
- 根据《中华人民共和国民法典》第一百四十七条至第一百五十一条，若调解过程中存在欺诈、胁迫、显失公平等情形，受损害方有权请求人民法院或仲裁机构撤销调解协议。
- 若你认为调解协议存在不公或对方存在不当行为，可收集证据并申请撤销或变更调解协议。例如，若对方利用你处于危困状态或缺乏判断能力，迫使你接受不公平条件，则调解协议可被撤销。
二、对方退回2万元的可能情形及法律后果
对方自愿放弃权利：
- 若对方明确表示退回2万元是自愿放弃该款项，且你能够证明这一点（如对方书面声明、聊天记录等），则你无需继续支付。
- 建议：要求对方出具书面放弃声明，或保留相关证据以证明其自愿放弃的意思表示。
对方误操作或反悔：
- 若对方退回2万元是误操作（如转账错误）或事后反悔，且调解协议未约定退回即视为放弃的条款，则对方仍可能主张你继续履行支付义务。
- 建议：与对方沟通，明确其退回的真实意图，并协商解决方案。若协商无果，可寻求第三方调解或通过法律途径解决。
调解协议未明确支付方式或时间：
- 若调解协议未明确约定2万元的支付方式、时间或条件，且对方退回款项后未明确表示放弃权利，则可能引发争议。
- 建议：回顾调解协议内容，若协议不明确，可与对方协商补充协议或寻求第三方调解以明确双方权利义务。
三、后续行动建议
收集证据：
- 保留调解协议、转账记录、聊天记录等所有与调解和退款相关的证据，以证明双方的真实意思表示和交易过程。
与对方沟通：
- 尝试与对方沟通，明确其退回2万元的真实意图，并协商解决方案。若对方表示放弃权利，要求其出具书面声明；若对方主张继续支付，则协商支付方式或条件。
寻求第三方调解或法律途径：
- 若双方无法协商一致，可寻求人民调解委员会、行业调解组织等第三方调解机构协助沟通。
- 若调解无果或对方坚持主张权利，可通过仲裁或诉讼途径解决纠纷。根据《中华人民共和国仲裁法》或《中华人民共和国民事诉讼法》的相关规定，选择适当的争议解决方式。
总结：是否可以不继续支付这2万元，需根据调解协议的具体内容、双方的真实意思表示以及是否存在法定撤销或变更的情形来判断。建议你收集证据、与对方沟通并寻求第三方调解或法律途径以明确双方权利义务并解决纠纷。如有进一步疑问或需要法律帮助，请直接向我咨询。