个人所得税退税的起始年份与个人所得税法的修订及实施密切相关。我国个人所得税的退税制度并非从某一特定年份突然开始，而是随着税收政策的不断完善和税收制度的改革逐步确立的。

具体来说，我国个人所得税法在经过多次修正后，于2018年8月完成了第七次修正。这次修正首次建立了综合与分类相结合的个人所得税制，将工资薪金所得、劳务报酬、稿酬与特许权使用费纳入个人所得税综合征税范围，并实行专项附加扣除。这一改革为后续的年度汇算和退税制度奠定了基础。

根据这一改革，2019年度个人所得税综合所得汇算于2020年3月1日至6月30日进行。这是我国个人所得税首次进行年度汇算，也意味着退税制度的正式实施。在这次汇算中，纳税人可以根据全年收入情况计算应纳个人所得税额，并与已预缴的税款进行比对，从而确定应退或应补的税额。

因此，可以说个人所得税退税制度是从2020年开始正式实施的，但这一制度的确立和推出是基于之前多年的税收制度改革和准备工作的。此后，随着税收政策的不断完善和税收制度的进一步优化，个人所得税退税制度也得到了不断的完善和发展。

需要注意的是，个人所得税退税的具体政策和操作流程可能会因政策调整或地区差异而有所不同。因此，在进行退税操作前，建议纳税人仔细了解相关政策和操作流程，并咨询当地税务机关或专业人士以获取准确的指导和帮助。