结论：即使对方还的钱是赌博赢的钱，且公安机关要求退还，从法律义务的角度讲，你仍有义务返还这笔钱（如果这笔钱本身属于应返还的债务），但退还的款项来源问题需另行处理，且不应影响你原本应得的债权。不过，具体处理方式需结合实际情况，以下从不同角度进行分析。
一、债务返还的法律义务
债务关系的本质：
- 债务关系是基于双方约定或法律规定而产生的权利义务关系。如果对方欠你钱，并且这笔债务是合法有效的，那么对方有义务按照约定或法律规定偿还这笔债务。
还款来源的合法性不影响债务关系：
- 对方还款的资金来源（如赌博赢的钱）并不影响债务关系的存在和履行。即使还款资金来源不合法，这并不改变对方欠你钱的事实，也不免除其还款义务。你作为债权人，有权要求对方按照约定偿还债务。
二、公安机关要求退还的处理
公安机关的职权范围：
- 公安机关主要负责刑事案件的侦查和治安管理等工作。如果公安机关要求退还赌博赢的钱，这通常是因为这笔钱涉及赌博等违法行为，需要依法进行追缴或没收。
退还与债务返还的区别：
- 公安机关要求退还的是赌博赢的钱，这是针对违法所得的处理。而你作为债权人，要求的是对方偿还合法债务。这两者是独立的法律关系，不应相互混淆。
实际操作中的处理：
- 如果对方用赌博赢的钱来还你的债，并且公安机关要求退还这笔钱，你可以与对方协商，要求其用其他合法资金来偿还债务。如果对方无法提供其他合法资金，你可能需要通过法律途径来维护自己的权益，如起诉对方要求偿还债务。
三、法律后果与风险提示
如果拒绝退还赌博赢的钱：
- 如果对方用赌博赢的钱来还债，并且你明知这一点而拒绝退还，你可能会面临一定的法律风险。因为赌博是违法的，与赌博相关的财物可能被视为违法所得，需要依法进行追缴或没收。虽然这不影响你原本应得的债权，但如果你拒绝配合公安机关的退还要求，可能会给自己带来不必要的麻烦。
如果对方无法偿还债务：
- 如果对方无法用其他合法资金来偿还债务，你可能需要通过法律途径来追讨债务。这包括起诉对方、申请强制执行等措施。在这个过程中，你需要提供充分的证据来证明对方欠你钱的事实以及债务的合法性。
建议：在处理此类问题时，建议你保持冷静和理性，不要因为情绪而做出冲动的决定。如果对方用赌博赢的钱来还债，并且公安机关要求退还，你可以先与对方协商解决方案。如果协商无果，你可以寻求法律帮助来维护自己的权益。如果你有任何疑问或需要进一步的法律建议，可以直接向我咨询。