关于买房子的契税从哪一年开始可以退的问题，这实际上涉及到了契税的退还规定及相关的政策变化。以下是对此问题的详细解答：

首先，契税的退还并不是从某一特定年份开始全面实施的，而是基于具体的法律规定和政策调整。根据《中华人民共和国契税法》的规定，自2021年9月1日起，如果权属转移合同或权属转移合同性质凭证在依法办理土地、房屋权属登记前不生效、无效、被撤销或者被解除，纳税人可以向税务机关申请退还已缴纳的契税。这一规定明确了契税退还的一种情形，并设定了法律基础。

然而，对于更早之前的购房情况，契税的退还则可能依据当时有效的其他政策或规定。例如，有信息指出2016年之后买的房在某些情况下可以退契税，这主要是基于当时新的契税政策以及满足特定条件（如适用税率错误、房屋面积差异等）的退税规定。

具体来说，可以退还契税的情况包括但不限于以下几种：

1. 因人民法院判决或仲裁委员会裁决导致土地、房屋权属转移行为无效、被撤销或者被解除，且土地、房屋权属变更至原权利人的；
2. 在出让土地使用权交付时，因容积率调整或实际交付面积小于合同约定面积需退还土地出让价款的；
3. 在新建商品房交付时，因实际交付面积小于合同约定面积需返还房价款的；
4. 购房时双方当事人适用税率错误的；
5. 购房合同中房屋面积大于房屋产权证面积的；
6. 所购房屋经县级以上人民政府拆迁享受拆迁优惠的。

需要注意的是，不同时间点的政策可能有所不同，且具体的退税条件和流程也可能因地区而异。因此，在申请契税退还时，建议咨询当地的税务机关或相关部门，以获取最准确的信息和指导。

综上所述，契税的退还并不是从某一特定年份全面开始的，而是基于具体的法律规定和政策调整。在申请契税退还时，应仔细了解相关政策规定，并准备好必要的申请材料。