在顶账房解除合同后，退款责任方主要取决于合同的具体约定以及解除合同的原因。以下从不同角度进行分析：
合同有明确约定：
- 如果顶账房买卖合同中明确规定了合同解除后的退款责任方，那么应当按照合同约定来执行。例如，合同可能约定如果因卖方原因导致合同解除，卖方需退还买方已支付的全部款项；如果因买方原因导致合同解除，买方可能需承担一定的违约金，而卖方在扣除违约金后退还剩余款项。
合同无明确约定或约定不明：
- 因卖方原因解除合同：如果合同解除是由于卖方（如开发商或原债权人）的违约行为导致的，如卖方无法交付房屋、房屋存在严重质量问题等，那么根据《民法典》的相关规定，卖方应当承担退款责任，并可能需要赔偿买方因此遭受的损失。
- 因买方原因解除合同：如果合同解除是由于买方的原因导致的，如买方资金不足、买方改变购房意愿等，那么买方可能无权要求卖方全额退款。但在此情况下，如果合同中没有明确约定买方需承担的违约金或损失赔偿额，卖方通常只能扣除实际发生的损失后，将剩余款项退还给买方。
- 双方协商解除合同：如果双方是通过协商一致解除合同的，那么退款责任方和退款金额应当根据双方的协商结果来确定。在这种情况下，双方可以签订解除合同的协议，明确退款的具体安排。
特殊情况下的退款责任：
- 顶账房的特殊性：顶账房通常涉及三方关系，即原债权人、开发商和买方。在顶账房买卖合同中，如果原债权人或开发商存在欺诈、隐瞒等违法行为，导致合同被解除，那么退款责任可能不仅限于卖方，还可能涉及原债权人或其他相关方。
- 法律程序的介入：如果合同解除后双方无法就退款问题达成一致，买方可以通过法律途径来维护自己的权益。例如，买方可以向法院提起诉讼，要求卖方退款并赔偿损失。在诉讼过程中，法院将根据合同的具体约定、双方的过错程度以及相关法律法规的规定，来判决退款责任方和退款金额。
建议：
- 在签订顶账房买卖合同时，务必仔细阅读合同条款，特别是关于合同解除和退款责任的约定。
- 如果合同中没有明确约定或约定不明，建议在合同中补充相关条款或签订补充协议，以明确双方的权利和义务。
- 在合同解除后，如果双方无法就退款问题达成一致，建议及时咨询专业律师，通过法律途径来维护自己的权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。