卖淫非法所得是需要退还的。以下从多个角度为你详细分析：

法律背景

根据我国《刑法》第六十四条的规定：“犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。”卖淫行为虽然不直接构成犯罪（组织、强迫、引诱、容留、介绍卖淫等行为可能构成犯罪），但卖淫所得属于违法所得，依法应当予以追缴或责令退赔。

法律后果

1. 追缴或退赔：如果卖淫行为被公安机关查处，卖淫所得的财物将会被依法追缴。如果财物已经无法追缴，如已经被挥霍或转移，那么公安机关可能会责令卖淫者退赔相应的金额。

2. 行政处罚：除了追缴或退赔非法所得外，卖淫者还可能面临行政处罚，如拘留、罚款等。这些处罚的目的是为了惩罚卖淫行为，维护社会秩序和公序良俗。

3. 刑事责任：如果卖淫行为涉及组织、强迫、引诱、容留、介绍他人卖淫等犯罪行为，那么卖淫者还可能面临刑事责任的追究。在这种情况下，非法所得的追缴或退赔只是刑事处罚的一部分，卖淫者还可能面临有期徒刑、罚金等更严厉的刑罚。

实际操作

在实际操作中，公安机关在查处卖淫行为时，会依法对卖淫者的财物进行搜查和扣押。如果确认这些财物属于卖淫所得，公安机关会依法予以追缴。如果财物已经无法追缴，公安机关会根据卖淫者的经济状况和卖淫所得的金额，责令其退赔相应的金额。

特殊情况

如果卖淫者能够证明其所得并非来自卖淫行为，或者能够证明其所得已经用于合法用途（如支付生活费用、医疗费用等），那么这些所得可能不会被追缴或退赔。但是，这种情况需要卖淫者提供充分的证据来证明其主张。

建议：

• 如果你或你身边的人涉及卖淫行为，并担心非法所得的追缴或退赔问题，建议尽快咨询专业律师（即我，张磊律师，专注于刑事辩护、暴力犯罪领域），了解具体的法律后果和应对策略。
• 遵守法律法规，远离任何违法犯罪行为，是维护个人和社会和谐稳定的重要前提。

如果你有任何关于刑事案件或暴力犯罪领域的法律问题，都可以直接向我咨询。