在《行政处罚法》中，依法应当退赔的认定主要依据违法行为是否造成当事人财产损失，且该损失与违法行为存在直接因果关系，同时需符合法律、法规或规章的明确规定。具体可从以下角度分析：

1. 退赔的法律依据
   根据《行政处罚法》第二十八条第二款规定：“当事人有违法所得，除依法应当退赔的外，应当予以没收。违法所得是指实施违法行为所取得的款项。法律、行政法规、部门规章对违法所得的计算另有规定的，从其规定。”
   该条款明确退赔的优先级高于没收，即若违法行为导致他人财产损失，需优先退赔受害人，剩余部分再依法处理。例如，欺诈销售中消费者支付的货款、非法集资中投资人的本金等，均属于需退赔的范围。

2. 退赔的构成要件

   • 违法行为与损失的直接因果关系：需证明财产损失系由行政违法行为直接导致，而非间接或偶然因素。例如，商家销售假冒商品导致消费者健康受损，医疗费用可纳入退赔范围；但若消费者因使用假货引发其他连锁损失（如误工费），则需结合具体案情判断是否支持退赔。
     
   • 法律、法规或规章的明确规定：退赔需以具体法律条文为依据，如《消费者权益保护法》第五十五条对欺诈行为的“退一赔三”规定，或《证券法》对内幕交易中投资者损失的赔偿条款。若法律未明确规定退赔标准，则需通过行政协议、司法裁判等途径确定。

3. 退赔与没收的区分

   • 退赔对象：针对特定受害人（如消费者、投资者），具有补偿性质；
     
   • 没收对象：针对违法所得中无明确受害人的部分（如非法经营收入），上缴国库。
     例如，某企业通过虚假宣传获利100万元，其中50万元为消费者支付的货款（需退赔），剩余50万元为纯利润（应没收）。

4. 实务中的操作要点

   • 证据固定：行政机关需通过调查取证（如合同、转账记录、鉴定报告等）证明违法所得与损失的关联性；
     
   • 程序合法性：退赔决定需通过行政处罚决定书明确载明，并告知当事人救济途径（如复议或诉讼）；
     
   • 执行保障：若当事人拒不退赔，行政机关可申请法院强制执行，或通过刑事追责（如涉嫌诈骗罪）推动退赔。

建议：若涉及具体案件中的退赔认定，需结合违法行为类型、损失金额计算方式及地方性法规进一步分析。可直接向我提供案情细节，我将从实体和程序双重角度提供专业意见。