结论：在您描述的情况下，即使卖家已经退回了钱款，您仍然有可能起诉卖家，但具体能否胜诉及获得何种救济，需根据合同效力、卖家违约行为及您因此遭受的损失等因素综合判断。以下从不同角度为您详细分析：
一、合同效力与违约责任
合同效力：
- 如果您与卖家之间已经签订了宅基地买卖合同，且该合同不存在无效情形（如违反法律、行政法规的强制性规定，或违背公序良俗等），则合同有效。
- 宅基地买卖合同的有效性还受到《土地管理法》等相关法律的限制，即宅基地使用权一般不得单独转让，除非符合特定条件（如转让给本集体经济组织成员且符合宅基地分配条件等）。若合同违反这些限制，可能被认定为无效或部分无效。
违约责任：
- 若合同有效且卖家明确表示不履行合同（即“耍无赖不卖了”），则卖家构成违约，应承担违约责任。
- 违约责任的形式包括继续履行、采取补救措施、赔偿损失等。在宅基地买卖合同中，由于宅基地的特殊性，继续履行可能受到法律限制，但您仍有权要求卖家赔偿因此造成的损失。
二、您的权利与救济途径
起诉要求赔偿损失：
- 即使卖家已经退回了钱款，如果您因卖家的违约行为遭受了其他损失（如交易机会丧失、为交易支出的合理费用等），您仍有权起诉要求卖家赔偿这些损失。
- 赔偿范围应限于您因卖家违约而实际遭受的损失，且需提供相应证据予以证明。
考虑合同无效或可撤销的情形：
- 如果合同存在无效或可撤销的情形（如卖家欺诈、胁迫等），您还可以考虑主张合同无效或撤销合同，并要求卖家返还已支付的款项及赔偿损失。
- 但需注意，合同无效或撤销的后果与违约责任不同，可能涉及更复杂的法律问题和证据要求。
三、实际操作建议
收集证据：
- 收集与宅基地买卖合同相关的所有证据，包括合同文本、付款凭证、沟通记录等。
- 收集因卖家违约而遭受损失的证据，如交易机会丧失的证明、为交易支出的合理费用凭证等。
咨询专业律师：
- 由于宅基地买卖涉及复杂的法律问题和地方性规定，建议您在起诉前咨询专业律师，以评估案件胜诉的可能性及可能获得的救济。
- 律师可以根据您的具体情况，为您制定合适的诉讼策略，并代表您进行诉讼活动。
考虑和解或调解：
- 在起诉前或诉讼过程中，您还可以考虑与卖家进行和解或调解，以达成双方都能接受的解决方案。
- 和解或调解可以节省诉讼成本和时间，且有助于维护双方的关系。
最后，虽然卖家已经退回了钱款，但您仍有权根据合同效力、卖家违约行为及您因此遭受的损失等因素，考虑是否起诉卖家并要求赔偿损失。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。