公园管理单位在特定情况下有权要求摊贩撤离，但这种权利并非无限制的强制权，需依据具体法律法规和合同约定来行使。以下从不同角度为你详细分析：
一、从法律法规角度
城市管理相关法规：
- 根据《城市市容和环境卫生管理条例》等相关规定，城市人民政府市容环境卫生行政主管部门或者其委托的单位，有权对影响市容和环境卫生的行为进行管理。如果摊贩在公园内未经许可摆摊，且影响了公园的整洁、秩序或安全，公园管理单位（通常受城市管理部门委托或指导）有权要求其撤离。
- 但这种要求撤离的行为应当合法、合理，不能侵犯摊贩的合法权益。例如，不能采取暴力、威胁等非法手段强制摊贩撤离。
公园管理规定：
- 公园作为公共场所，通常会有自己的管理规定。这些规定可能明确禁止在公园内未经许可摆摊设点。如果摊贩违反了这些规定，公园管理单位有权依据规定要求其撤离。
二、从合同约定角度
- 如果摊贩与公园管理单位之间存在租赁、许可等合同关系，那么双方的权利义务应当依据合同约定来确定。如果合同中明确规定了摊贩在特定条件下需要撤离（如违反公园规定、未按时缴纳费用等），那么公园管理单位在合同约定的条件下有权要求摊贩撤离。
三、从实际操作角度
合法合规行使权利：
- 公园管理单位在要求摊贩撤离时，应当出示相关法律法规或合同依据，并说明撤离的理由和期限。同时，应当尊重摊贩的合法权益，避免采取过激行为。
摊贩的救济途径：
- 如果摊贩认为公园管理单位的要求不合理或侵犯了其合法权益，可以通过协商、投诉、诉讼等途径来维护自己的权益。例如，可以向城市管理部门投诉公园管理单位的不当行为，或者向法院提起诉讼要求确认公园管理单位的要求无效。
四、可能面临的法律后果
- 如果公园管理单位未经合法程序或无正当理由强制摊贩撤离，可能面临行政处罚（如被城市管理部门责令改正、罚款等）或民事赔偿（如因强制撤离给摊贩造成损失而需要承担赔偿责任）。
建议：对于公园管理单位而言，在要求摊贩撤离时应当谨慎行事，确保自己的行为合法合规；对于摊贩而言，如果遇到公园管理单位的不当要求，应当积极维护自己的合法权益。如果你或摊贩在具体操作中遇到法律问题，可以直接向我咨询，我会为你提供专业的法律建议。