在房屋买卖合同被判定无效后，虽然原则上买卖双方应相互返还财产，但也存在一些特殊情况，其中买方可以不返还或不该返还房屋。以下是对这些特殊情况的详细阐述：

1. 买方对房屋进行了合法的添附行为：

   • 若买方在居住期间对房屋进行了装修、改造等添附行为，且这些添附行为使得房屋的价值有所增加，同时这种添附与房屋本身不可分割，或者虽然能够分离但分离后会严重损害房屋的原有价值，那么在这种情况下，买方可以不返还房屋，但需要对卖方给予相应的经济补偿。

2. 买方因使用房屋获得了利益，且该利益超过了房屋的折旧损失：

   • 如果买方在居住期间合理使用了房屋，并且由于这种使用，房屋产生的增值部分超过了因使用而产生的折旧损失，那么也可以不要求买方返还房屋，而是通过补偿等方式来平衡买卖双方的利益。

需要注意的是，无论是哪种情况，都需要有足够的证据来证明买方的添附行为或使用房屋所获得的利益，并且最终是否返还房屋，还需由法院根据具体案件的事实和公平原则来裁决。因此，在处理此类纠纷时，建议双方及时咨询专业律师，通过法律途径来维护自身的合法权益。

如果您在此类房产纠纷或合同纠纷中遇到任何问题，可以直接向我咨询，我将为您提供专业的法律建议和支持。