伪劣产品确实应当退赔被害人，这是基于我国相关法律法规的明确规定以及保护消费者权益的基本原则。下面我将从多个角度详细分析这一问题：
一、法律依据
《中华人民共和国消费者权益保护法》：该法明确规定了消费者在购买、使用商品时享有安全保障权、知情权、选择权等基本权利。当消费者购买到伪劣产品时，其合法权益受到了侵害，有权要求经营者承担退赔等法律责任。具体来说，根据该法第五十五条，如果经营者提供商品或者服务有欺诈行为，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或者接受服务的费用的三倍；增加赔偿的金额不足五百元的，为五百元。
《中华人民共和国产品质量法》：该法规定了生产者、销售者对产品质量的责任和义务。对于伪劣产品，生产者、销售者应当承担修理、更换、退货以及赔偿损失等责任。如果因伪劣产品造成人身、财产损害的，受害者还有权要求赔偿。
二、退赔的具体情形
退货：如果消费者购买到的产品属于伪劣产品，且符合退货条件（如产品存在质量问题、与描述不符等），消费者有权要求退货，并由经营者承担退货的运费等费用。
赔偿损失：除了退货外，消费者还有权要求经营者赔偿因购买伪劣产品而遭受的损失，包括但不限于直接经济损失（如购买产品的费用、因产品问题导致的其他财产损失）和间接经济损失（如因产品问题导致的时间浪费、精神损害等）。在特定情况下，如经营者存在欺诈行为，消费者还有权要求增加赔偿。
三、实际操作建议
保留证据：消费者在购买产品时，应当保留好购物凭证（如发票、收据等）、产品说明书、保修卡等相关证据。在发现产品存在质量问题或属于伪劣产品时，应当及时拍照、录像等固定证据。
与经营者协商：在发现伪劣产品后，消费者可以先尝试与经营者协商解决。如果经营者同意退赔，双方可以签订书面协议，明确退赔的具体内容和时间等。
寻求法律援助：如果经营者拒绝退赔或协商无果，消费者可以向当地消费者协会、市场监管部门等投诉举报，也可以直接向人民法院提起诉讼，要求经营者承担退赔等法律责任。
四、特殊情况说明
在某些特殊情况下，如产品已经超过保修期、消费者自身使用不当导致产品损坏等，经营者可能不承担退赔责任。但即使如此，如果经营者存在欺诈行为或故意隐瞒产品真实情况等违法行为，消费者仍然有权要求赔偿。
总结来说，伪劣产品应当退赔被害人，这是基于我国相关法律法规的明确规定。消费者在购买产品时应当保留好相关证据，并在发现伪劣产品后及时与经营者协商或寻求法律援助。如果你在这方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。