结论：宅基地协议无效但房屋不返还的情况，通常涉及协议无效后的财产处理原则及房屋与宅基地使用权的特殊关系。一般来说，协议无效后，原则上应恢复原状，即出让方返还受让方支付的款项，受让方返还宅基地及地上房屋。但若房屋已无法返还或返还成本过高，可能会根据实际情况进行折价补偿或其他处理。以下从多个角度进行详细分析：
一、宅基地协议无效的法律依据
根据《中华人民共和国民法典》第一百五十五条，无效的或者被撤销的民事法律行为自始没有法律约束力。宅基地转让协议若存在无效情形（如主体不适格、违背“一户一宅”原则、未经集体组织批准、买卖宅基地用于非农业建设等），则该协议自始无效，对双方不产生法律拘束力。
二、协议无效后的财产处理原则
恢复原状：
- 根据《民法典》第一百五十七条，协议无效后，行为人应返还因该行为取得的财产。在宅基地转让协议无效的情况下，出让方应返还受让方支付的转让款，受让方应返还宅基地及地上房屋。
折价补偿：
- 若房屋已无法返还（如已拆除、改建或灭失）或返还成本过高（如需拆除重建），则可能根据实际情况进行折价补偿。折价补偿的金额通常根据房屋的实际价值、建造成本、使用年限等因素综合确定。
损失赔偿：
- 若因一方过错导致协议无效并造成损失的，过错方应赔偿对方损失。例如，若出让方故意隐瞒宅基地存在权属纠纷或转让限制，导致协议无效并给受让方造成损失的，出让方应承担赔偿责任。
三、房屋不返还的特殊情况
房屋已融入受让方生活或生产：
- 若房屋已作为受让方的生活或生产场所，且返还房屋将对其生活或生产造成严重影响，法院可能会考虑不返还房屋，而是通过折价补偿或其他方式解决。
房屋价值远高于宅基地价值：
- 在某些情况下，房屋的价值可能远高于宅基地的价值。若返还房屋将导致受让方遭受重大损失，而出让方无法提供合理补偿的，法院可能会考虑不返还房屋或调整补偿方案。
集体组织同意或政策允许：
- 若集体组织同意受让方继续使用房屋或相关政策允许在特定情况下不返还房屋的，法院可能会根据实际情况作出相应判决。
四、法律建议
审查协议合法性：
- 在签订宅基地转让协议前，务必审查协议的合法性，确保协议内容符合法律法规的强制性规定，并经过集体组织的批准。
咨询专业意见：
- 若对宅基地转让协议的合法性或协议无效后的处理存在疑问，建议及时咨询专业律师，以获取准确的法律意见和风险评估。
保留相关证据：
- 在宅基地转让过程中，务必保留好相关证据（如转让协议、付款凭证、集体组织批准文件等），以便在协议无效或发生纠纷时维护自己的合法权益。
五、可能面临的法律后果
若宅基地转让协议无效且房屋不返还，双方可能面临以下法律后果：
民事责任：
- 根据《民法典》的相关规定，双方需承担因协议无效而产生的民事责任，包括返还财产、折价补偿和赔偿损失等。
行政责任：
- 若宅基地转让行为违反了土地管理法的相关规定（如未经批准转让宅基地、买卖宅基地用于非农业建设等），双方还可能面临行政责任，如罚款、没收违法所得等。
刑事责任：
- 在极少数情况下，若宅基地转让行为构成犯罪（如非法转让、倒卖土地使用权罪等），相关责任人还可能面临刑事责任。
总结：宅基地协议无效但房屋不返还的情况涉及多个法律知识点和复杂的法律关系。在处理此类问题时，务必严格遵守相关法律法规，确保协议的合法有效，并在协议无效或发生纠纷时及时咨询专业律师以维护自己的合法权益。如果你有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。