结论前置：购房合同无效时，通常情况下购房者应当退房，开发商也应退还购房款。但在某些特殊情况下，如购房者已对房屋进行了显著改变或存在合理信赖利益损失，法院可能会作出特殊安排，不一定支持简单的退房要求。

详细分析：

1. 一般情况下的退房义务：

   • 根据《中华人民共和国民法典》的相关规定，无效的民事法律行为自始没有法律约束力。购房合同被认定无效后，双方应恢复到合同签订前的状态。
   • 因此，购房者通常需要将房屋退还给开发商，而开发商也应退还购房者已支付的购房款。

2. 特殊情况下的处理：

   • 如果购房者对房屋进行了较大程度的添附、装修等，使得房屋状况发生显著改变，或者购房者基于对合同无效无过错而对房屋产生了合理信赖利益损失，法院在判定合同无效时，可能会综合考量这些因素。
   • 在这种情况下，法院可能会作出特殊安排，如允许购房者保留房屋并补偿开发商一定金额，或者要求开发商赔偿购房者因合同无效而遭受的损失等。

3. 法律建议：

   • 在遇到购房合同无效的情况时，购房者首先应与开发商进行协商，寻求和平解决的方式。
   • 如果协商无果，购房者可以依法向人民法院提起诉讼，请求确认合同无效并要求退房退款或寻求其他合理的解决方案。
   • 在诉讼过程中，购房者需要提供充分的证据证明合同存在无效情形以及自身因合同无效而遭受的损失。

综上所述，购房合同无效时，购房者通常需要退房并拿回已付房款。但在特殊情况下，法院可能会根据具体情况作出特殊安排。因此，在处理此类问题时，建议购房者咨询专业律师以获取更具体的法律建议和支持。如果您有任何进一步的问题或需要更详细的法律帮助，请直接向我咨询。