非法买卖流通人民币的，买家确实需要退回所购买的人民币。以下是对此问题的详细分析：
一、法律背景与规定
根据《中华人民共和国人民币管理条例》的相关规定，禁止非法买卖流通人民币。这一规定旨在维护人民币的法定货币地位，保护人民币的整洁和流通秩序。当买家非法购买流通人民币时，其行为已经违反了这一规定。
二、买家的退回义务
法律义务：一旦买家的行为被认定为非法买卖流通人民币，根据相关法律法规，买家有义务退回所购买的人民币。这是买家必须履行的法律责任，也是对其违法行为的一种纠正。
实际操作：在实际操作中，如果买家被相关部门查处或接到退回通知，应当积极配合，按照要求退回所购买的人民币。如果买家拒绝退回或无法退回，可能会面临进一步的法律责任，如罚款、没收违法所得等。
三、可能面临的法律后果
行政处罚：根据《中华人民共和国人民币管理条例》的规定，非法买卖流通人民币的，由工商行政管理机关和其他有关行政执法机关给予警告，没收违法所得和非法财物，并处违法所得1倍以上3倍以下的罚款；没有违法所得的，处1000元以上5万元以下的罚款。对于买家而言，如果其非法购买行为被查处，可能会面临上述行政处罚。
刑事责任：在极端情况下，如果买家的非法买卖行为情节严重，构成犯罪的，还可能依法追究刑事责任。虽然这种情况相对较少，但买家仍需警惕并遵守法律法规。
四、建议与提醒
遵守法律法规：作为买家，应当严格遵守国家关于人民币管理的法律法规，不参与任何非法买卖流通人民币的行为。
增强法律意识：提高法律意识，了解非法买卖流通人民币的危害性和法律后果，从而自觉抵制和远离此类违法行为。
积极配合调查：如果买家不幸被卷入非法买卖流通人民币的案件中，应当积极配合相关部门的调查和处理工作，如实陈述事实、提供证据等。
如有任何关于金融保险或相关法律问题的疑问，请直接向我咨询。我会根据你的具体情况，提供专业、全面的法律建议。