收取个人所得税是合法的，但申请退费需根据具体情况判断。下面我将从两个方面进行详细分析：
一. 收取个人所得税的合法性
法律依据：
- 根据《中华人民共和国个人所得税法》第二条的规定，个人所得包括财产转让所得，应当缴纳个人所得税。而卖房所得属于财产转让所得的一种，因此无论卖房的价格是否高于购买时的价格，卖家都需要根据卖房所得缴纳个人所得税。
计算方式：
- 根据《中华人民共和国个人所得税法》第三条，财产转让所得适用比例税率，税率为百分之二十。在计算应纳税所得额时，纳税人可以凭借购房合同、发票等有效凭证，经税务机关审核后，从收入中减除房屋原值、转让过程中缴纳的税金及有关合理费用。
特殊情况：
- 如果卖方所售房屋是其家庭的唯一住宅，并且购买时间超过5年，那么可以免缴个人所得税。但如果家庭唯一住宅的购买时间不超过5年，则不能享受这一减免。
二. 申请退费的可行性
一般情况：
- 一般情况下，如果卖房所得低于购买价格，导致没有财产转让所得或者所得为负值，那么在实际操作中，可能不需要缴纳个税。但这并不意味着可以申请退费，因为个人所得税是按照实际所得来计算的，没有实际所得就不存在缴税的问题，自然也无法申请退费。
特殊情况：
- 如果存在特殊情况，如税务机关在计算或征收个人所得税时出现了错误，导致多收了税款，那么纳税人可以依法申请退费。但这需要纳税人提供充分的证据来证明税务机关的错误，并经过税务机关的审核确认。
我的建议：
- 在进行房屋交易时，纳税人应主动向当地税务机关申报并缴纳个人所得税，确保交易的合法合规。
- 如果对个人所得税的征收有疑问或认为存在错误，建议及时咨询专业税务人员或律师，以便得到准确的解答和帮助。
如有进一步需要，您可以继续咨询我。