在行政协议到期后要求对方退场，一般情况下并不必然需要告知听证权，但具体是否需要告知，需结合协议性质、退场原因及法律规定综合判断。以下从不同角度进行分析：
一、行政协议的性质与听证权的关系
行政协议，作为行政机关与公民、法人或其他组织之间设立、变更、终止行政法律关系的协议，其性质上兼具行政性和合同性。听证权，作为行政程序中的一项重要权利，通常适用于行政机关作出对当事人不利影响的行政决定时，保障当事人陈述、申辩的权利。然而，并非所有行政行为都必然涉及听证权，特别是当行政协议到期自然终止，且退场要求不涉及对当事人额外不利影响时，听证权可能并非必需。
二、退场要求的具体情形与听证权
协议自然到期退场：
- 若行政协议明确约定了期限，且期限届满后协议自然终止，行政机关要求对方退场，这通常被视为协议履行的自然结果，不涉及对当事人额外不利影响的行政决定。在此情形下，一般无需告知听证权。
因违约或违法行为要求退场：
- 若对方在协议履行过程中存在违约或违法行为，行政机关依据协议约定或法律规定要求其退场，这可能涉及对当事人不利影响的行政决定。在此情形下，虽然听证权并非绝对必需，但行政机关应遵循正当程序原则，给予当事人合理的陈述、申辩机会。若相关法律法规或协议明确规定了听证程序，则应依法告知听证权。
因公共利益需要提前终止协议并要求退场：
- 若因公共利益需要，行政机关需提前终止行政协议并要求对方退场，这同样可能涉及对当事人不利影响的行政决定。在此情形下，行政机关应依法进行听证或给予其他形式的陈述、申辩机会，以确保决策的公正性和合理性。但具体是否需要听证，还需根据相关法律法规的规定和实际情况进行判断。
三、相关法律法规的考量
- 《中华人民共和国行政许可法》：该法主要规范行政许可的设定和实施，与行政协议到期退场的问题不直接相关，但其中关于听证程序的规定（如第四十六条、第四十七条）为理解听证权的一般原则提供了参考。
- 《中华人民共和国行政处罚法》：该法规定了行政处罚的种类和程序，包括听证程序。虽然行政协议到期退场不属于行政处罚，但行政机关在作出对当事人不利影响的决定时，应借鉴行政处罚法中的正当程序原则。
- 具体行政协议相关的法律法规：不同领域的行政协议可能受不同法律法规的规范，如政府采购合同、土地使用权出让合同等。这些法律法规可能对协议终止、退场及听证权有具体规定，需结合具体情况进行判断。
四、建议与总结
- 对于行政机关：在要求对方退场前，应仔细审查协议条款和相关法律法规，明确退场要求的合法性和合理性。若涉及对当事人不利影响的决定，应依法给予陈述、申辩机会，必要时进行听证。
- 对于当事人：若对行政机关的退场要求有异议，可要求行政机关说明理由并提供相关法律依据。若认为自身权益受到侵害，可依法申请行政复议或提起行政诉讼。
如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。我将结合您的具体情况，提供更为详细和专业的法律意见。