结论：是否需要退还15万，取决于多个因素，包括买卖合同的效力、土地的性质及用途、双方当事人的约定以及是否存在违约情形等。以下从不同角度进行分析：
一、合同效力角度
若合同无效：
- 根据《民法典》的相关规定，如果农村土地（特别是宅基地）的买卖违反了法律、行政法规的强制性规定，或者违背了公序良俗，那么该买卖合同可能被认定为无效。
- 在合同无效的情况下，因该合同取得的财产，应当予以返还。因此，如果土地买卖合同无效，且买方已经支付了15万，那么卖方应当退还这15万给买方。
若合同有效：
- 如果土地买卖合同是双方真实意思表示，且没有违反法律、行政法规的强制性规定，那么该合同可能是有效的。
- 在合同有效的情况下，如果买方无法使用土地是因为卖方的原因（如卖方未按照约定交付土地、土地存在权属纠纷等），那么买方有权要求卖方承担违约责任，包括退还已支付的款项。
二、土地性质及用途角度
宅基地买卖：
- 宅基地是农村村民用于建造住宅及其附属设施的集体建设用地，其买卖受到严格限制。
- 如果买卖的是宅基地，且买方并非该集体经济组织成员，或者买卖行为未经集体经济组织同意，那么该买卖行为可能无效，卖方应退还买方已支付的款项。
其他农村土地买卖：
- 对于其他类型的农村土地（如耕地、林地等），其买卖也受到法律、行政法规的严格限制。
- 如果买卖行为违反了相关法律法规的规定，那么合同可能无效，卖方应退还买方已支付的款项。
三、双方约定及违约情形角度
双方约定：
- 如果双方在买卖合同中明确约定了土地的使用条件、交付时间、违约责任等条款，那么应当按照合同约定履行。
- 如果卖方未按照约定交付土地或者土地无法使用，且该情形构成违约，那么买方有权要求卖方承担违约责任，包括退还已支付的款项。
违约情形：
- 如果卖方存在故意隐瞒土地权属纠纷、未按照约定办理土地过户手续等违约行为，导致买方无法使用土地，那么买方有权要求卖方退还已支付的款项，并可能要求卖方承担其他违约责任。
四、实际操作建议
收集证据：
- 买方应收集与土地买卖相关的所有证据，包括买卖合同、收据、土地权属证明、双方沟通记录等。
协商解决：
- 在收集到足够证据后，买方可以尝试与卖方进行协商，要求卖方退还已支付的款项或者承担其他违约责任。
法律途径：
- 如果协商无果，买方可以向当地人民法院提起诉讼，要求确认合同效力、退还已支付款项并承担违约责任。
总结与建议：是否需要退还15万取决于多个因素。我建议你先收集相关证据，并尝试与卖方进行协商。如果协商无果，你可以考虑通过法律途径解决纠纷。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。