撤回上诉时，上诉费是否退还取决于撤诉时间及案件具体情况。以下是对此问题的详细分析：
一、二审判决前撤回上诉的诉讼费处理
全额退费情形：
- 在第二审人民法院判决宣告前，上诉人申请撤回上诉的，第二审人民法院通常会裁定准许，并通知第一审人民法院和当事人。此时，诉讼费用全额退还。这是因为案件尚未进入最终判决阶段，上诉人撤回上诉意味着案件未进入实质审理，因此诉讼费用应全额退还。
减半退费情形：
- 若案件经人民法院审查认为一审判决确有错误，或双方当事人串通损害国家和集体利益、社会公共利益及他人合法权益，法院将不准许撤回上诉。若上诉人坚持撤诉且符合法定条件，法院可能裁定按自动撤回上诉处理。此时，诉讼费用减半收取。这是因为虽然案件未进入最终判决，但法院已经对案件进行了一定程度的审查，投入了相应的人力、物力，因此诉讼费用应减半收取。
二、二审判决后撤回上诉的诉讼费处理
- 不予退费原则：
- 第二审人民法院判决宣告后，上诉人不得再行撤回上诉。若已宣判仍申请撤诉，法院将依法驳回，诉讼费用不予退还。这是因为案件已经进入最终判决阶段，法院已经对案件进行了全面审理并作出了判决，因此诉讼费用不再退还。
三、特殊情形下的退费处理
调解结案：
- 若案件经人民法院调解达成协议并结案，诉讼费用通常也会减半收取。这是基于《诉讼费用交纳办法》的相关规定，调解结案可以视为一种特殊的撤诉情形，因此诉讼费用减半收取。
被告承担费用：
- 如果撤诉是因为被告改变了原具体行政行为，或者案件事实本质上没有错误，而是由于其他原因需要撤销诉讼，那么诉讼费用可能会由被告方承担。在这种情况下，原告预缴的诉讼费用将予以退还。这是基于公平原则和诉讼经济原则的考虑，避免原告因被告的行为而承担不必要的诉讼费用。
四、法律依据与操作规范
法律条款：
- 根据《诉讼费用交纳办法》第十五条及第三十四条，撤诉案件的受理费退还标准明确区分判决宣告前后的不同情形。第十五条规定：“以调解方式结案或者当事人申请撤诉的，减半交纳案件受理费。”第三十四条规定：“民事案件的原告或者上诉人申请撤诉，人民法院裁定准许的，案件受理费由原告或者上诉人负担。行政案件的被告改变或者撤销具体行政行为，原告申请撤诉，人民法院裁定准许的，案件受理费由被告负担。”
操作流程：
- 准予撤诉的裁定送达后，当事人需在规定期限内（通常为7日）到指定窗口办理退费手续，逾期视为放弃权利。这是为了确保诉讼费用的及时退还，避免因当事人拖延而造成的不必要的麻烦。
总结与建议：
撤回上诉时，上诉费是否退还取决于撤诉时间及案件具体情况。在二审判决前撤回上诉的，诉讼费用可能全额退还或减半收取；在二审判决后撤回上诉的，诉讼费用通常不予退还。此外，还有一些特殊情形下的退费处理规定。因此，在撤回上诉前，建议您仔细了解相关法律规定和法院的具体操作流程，以便更好地维护自己的合法权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。