若对公安要求的退赃金额有异议且无证据，可按以下思路处理：

1. 明确异议核心，尝试协商沟通
   首先需明确对退赃金额的异议具体指向：是认为公安认定的“赃款总额”计算有误（如包含合法收入或未实际取得的款项），还是对“应退赔比例”有争议（如多人共同犯罪中责任划分不合理）？
   可主动联系办案民警或承办检察官，以书面形式（如《异议申请书》）详细说明异议理由，例如：

   • 公安认定的金额中包含某笔款项的合法来源证明（如工资流水、借款合同）；
     
   • 共同犯罪中自身实际参与的环节与金额不匹配（需结合犯罪分工、获利情况等说明）。
     注意：即使无直接证据，也可通过逻辑推导、证人证言（如共犯或知情人的陈述）辅助说明，但需确保陈述真实，避免虚假陈述的法律风险。

2. 申请检察机关监督，启动审查程序
   若公安拒绝调整退赃金额，可在案件移送检察机关审查起诉后，向检察官提交书面异议材料。检察机关有义务对退赃退赔的合法性、合理性进行审查，若发现公安认定存在错误（如证据不足、计算错误），可能要求公安补充侦查或直接调整金额。
   关键点：需在检察机关审查起诉期限内（通常1个月，可延长15日）提出异议，避免错过审查窗口。

3. 通过庭审质证，争取法院裁量
   若案件进入审判阶段，可在庭审中就退赃金额提出异议，并申请法院调取相关证据（如银行流水、账目记录等）或通知证人出庭。法院会根据在案证据（包括控辩双方提交的材料）综合判断退赃金额的合理性，最终以《刑事判决书》明确应退赔的具体数额。
   提示：庭审是法定争议解决程序，若对公安、检察阶段认定仍有异议，务必充分利用此阶段举证、质证权利。

4. 无证据时的风险与应对
   若完全无证据支持异议（如无书面合同、转账记录等），需承担较高举证不能的风险。此时可尝试：

   • 申请司法机关调取证据（如向法院提交《调查取证申请书》，要求调取涉案账户流水、审计报告等）；
     
   • 结合生活常识、行业惯例等说明公安认定不合理（如共同犯罪中“平均分赃”不符合实际分工）；
     
   • 接受部分退赃以争取从宽处理（如退还无争议部分，对有争议部分保留申诉权利）。

总结建议：
对退赃金额的异议需以“证据+逻辑”为核心，即使无直接证据，也可通过合法途径推动司法机关审查。建议优先与公安、检察沟通，同步收集间接证据（如证人联系方式、书面说明等），若仍无法解决，务必在庭审阶段充分主张权利。如有具体案件细节（如犯罪类型、金额构成等），可进一步向我说明，我会结合实务经验提供针对性建议。