关于您提出的“签了卖房协议买方不要了，他支付了部分房款要退回吗”的问题，我可以从法律的角度为您详细解答。

结论前置：

在签订卖房协议后，如果买方决定不再购买，并且已经支付了部分房款，是否应退回这部分房款，主要取决于协议中的具体约定以及双方的协商结果。一般来说，如果协议中有明确约定退款条款，应按照约定执行；如果没有明确约定，则需要双方协商解决。

详细分析：

1. 协议约定：

   • 首先，您需要仔细查看卖房协议中是否有关于退款的具体条款。如果协议中明确规定了买方在某种情况下可以退款，以及退款的具体方式和时间，那么您应按照协议中的约定来执行。
   • 如果协议中没有明确约定退款条款，但提到了违约责任或解除合同的条件，您也需要根据这些条款来判断是否应退回房款。

2. 双方协商：

   • 如果协议中没有明确约定退款或违约责任，那么您需要与买方进行协商，以达成双方都能接受的解决方案。在协商过程中，您可以考虑买方的购房意愿、已支付的房款金额、房屋的实际情况以及市场变化等因素。
   • 如果双方能够达成一致意见，可以签订补充协议来明确退款的具体事宜，包括退款金额、退款时间以及退款方式等。

3. 法律后果：

   • 如果双方无法达成一致意见，且买方坚持要求退款，而您认为不应退款，那么可能会引发法律纠纷。在这种情况下，建议您咨询专业律师（即我本人），以便更好地维护您的合法权益。
   • 如果最终需要通过法律途径来解决纠纷，法院将会根据协议的具体内容、双方的证据以及相关法律法规来作出判决。

综上所述，是否应退回买方已支付的部分房款，主要取决于卖房协议中的具体约定以及双方的协商结果。建议您仔细查看协议内容，并与买方进行积极沟通，以寻求最佳解决方案。如果您在协商过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。