诈骗两次且已退回公安的情况下，行为人可能面临行政处罚或刑事处罚，具体取决于诈骗金额、情节严重程度等因素。以下从行政处罚和刑事处罚两个角度进行详细分析：
行政处罚角度
法律依据：
- 根据《中华人民共和国治安管理处罚法》第四十九条，诈骗公私财物的，处五日以上十日以下拘留，可以并处五百元以下罚款；情节较重的，处十日以上十五日以下拘留，可以并处一千元以下罚款。
处理方式：
- 如果诈骗行为尚未达到刑事立案标准，但确实存在诈骗事实，公安机关将依法对行为人进行行政处罚，包括拘留和罚款。
- 即使行为人已经退回诈骗所得，这只能作为从轻或减轻处罚的情节考虑，但并不能完全免除其行政责任。
刑事处罚角度
法律依据：
- 根据《中华人民共和国刑法》第二百六十六条，诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。
处理方式：
- 如果诈骗行为达到刑事立案标准，公安机关将依法对行为人进行刑事立案侦查。
- 在侦查过程中，如果行为人已经退回诈骗所得，这同样只能作为从轻或减轻处罚的情节考虑。法院在判决时，会综合考虑诈骗金额、情节严重程度、行为人的认罪态度、退赃情况等因素，来决定具体的刑罚。
- 如果行为人被判处刑罚，还需要承担相应的刑事责任，包括可能的罚金、没收财产等。
特殊情况说明
- 多次诈骗的加重情节：如果行为人多次实施诈骗行为，即使每次诈骗的金额不大，但累计起来达到刑事立案标准，或者虽然未达到刑事立案标准但情节严重，都可能构成刑事犯罪，并面临更严厉的处罚。
- 退赃的积极影响：虽然退赃不能完全免除行为人的法律责任，但积极退赃可以表明行为人的认罪态度和悔罪表现，有助于法院在判决时从轻或减轻处罚。
建议：
- 如果您或您身边的人涉及此类情况，建议尽快咨询专业律师（即向我咨询），以便更准确地了解法律后果和应对策略。
- 在面对公安机关的调查时，应如实陈述事实，积极配合调查，并主动退赃以争取从轻或减轻处罚。