逃税罪退缴义务由纳税人或扣缴义务人承担。具体来说：
纳税人：根据《中华人民共和国税收征收管理法》的规定，纳税人应当依法履行纳税义务，按时缴纳税款。如果纳税人存在逃税行为，那么其应当承担退缴逃税款的义务，即需要补缴应缴未缴的税款。
扣缴义务人：扣缴义务人是指依照法律、行政法规规定负有代扣代缴、代收代缴税款义务的单位和个人。如果扣缴义务人未按照规定履行代扣代缴、代收代缴税款义务，导致税款流失，那么其也应当承担退缴相应税款的义务。
在逃税罪案件中，退缴义务是犯罪嫌疑人或被告人必须面对的法律责任之一。如果逃税行为被查处，相关责任人不仅需要补缴逃税款，还可能面临罚款、滞纳金等法律责任，甚至可能构成犯罪而被追究刑事责任。
因此，建议纳税人和扣缴义务人严格遵守税收法律法规，依法履行纳税义务和代扣代缴、代收代缴税款义务，避免逃税行为的发生。如果涉嫌逃税被查处，应当积极配合税务机关的调查处理，及时退缴逃税款，以减轻法律责任。如有任何疑问或需要法律帮助，请直接向我咨询。