关于往人家账号充钱是否有义务退回的问题，这主要取决于转账的性质和具体情况，以下分情况讨论：
误转或不当得利情况：
- 如果转账是由于误操作（如输错账号、金额等）导致的，或者收款方没有合法依据而获得了这笔款项（即不当得利），那么根据《中华人民共和国民法典》的相关规定，收款方有义务将款项退回给转账方。在这种情况下，转账方可以通过法律途径要求收款方返还。
赠与或合法交易情况：
- 如果转账是出于赠与的目的，且赠与行为已经完成（即款项已经到达收款方账户），那么除非存在法定撤销赠与的情形（如严重侵害赠与人或者赠与人近亲属的合法权益、对赠与人有扶养义务而不履行等），否则赠与方通常无权要求收款方退回款项。
- 如果转账是作为合法交易的一部分（如购买商品或服务），且交易已经完成，那么除非交易存在瑕疵（如商品质量问题、服务未达到约定标准等），且双方协商一致或根据法律规定可以退款，否则转账方也无权要求收款方退回款项。
涉及欺诈或非法活动情况：
- 如果转账是涉及欺诈、洗钱等非法活动的，那么不仅收款方有义务退回款项，还可能面临法律责任。在这种情况下，转账方应立即向公安机关报案，并配合调查。
法律建议：
- 在进行转账前，务必确认收款方的身份和转账目的，避免误转或参与非法活动。
- 如果发现误转或涉及不当得利、欺诈等情况，应及时与收款方沟通要求退回款项，并保留好相关证据（如转账记录、聊天记录等）。
- 如果沟通无果或涉及较大金额，建议咨询专业律师并考虑通过法律途径解决纠纷。
可能法律后果：
- 如果收款方拒绝退回误转或不当得利的款项，转账方可以通过起诉等方式要求其返还，并可能要求赔偿因此造成的损失。
- 如果转账涉及非法活动，双方都可能面临法律责任，包括罚款、拘留甚至刑事责任。
总之，往人家账号充钱是否有义务退回取决于转账的性质和具体情况。在处理此类问题时，建议保持冷静、理性，并寻求专业法律帮助以确保自身权益得到保护。如有任何疑问或需要进一步的法律建议，请直接向我咨询。