结论：雇主发工资时扣除的税款，既不是由阿姨（劳动者）退还，也不是由雇主退还，而是由雇主作为扣缴义务人按照法律规定代扣代缴给税务机关。若存在多扣税款的情况，应由税务机关核实后退还给劳动者，而非由雇主或劳动者自行退还。

详细分析：

1. 税款的代扣代缴义务：

   • 根据我国税收法律法规，雇主作为工资薪金的支付方，负有代扣代缴个人所得税的义务。这意味着雇主在发放工资时，需要按照税法规定计算劳动者应缴纳的个人所得税，并从工资中扣除这部分税款，然后代为缴纳给税务机关。

2. 税款的归属与退还：

   • 扣除的税款并不属于雇主或劳动者，而是属于国家税收。因此，不存在由雇主或劳动者退还税款的情况。
   • 如果税务机关在后续核查中发现多扣了税款，会按照法定程序将多扣的税款退还给劳动者，而不是退还给雇主或由雇主自行处理。

3. 可能的误解与澄清：

   • 有些劳动者可能会误认为雇主多扣了税款，或者认为雇主应该承担退还税款的责任。但实际上，雇主只是按照税法规定履行代扣代缴义务，并没有权利或义务退还税款。
   • 如果劳动者对税款扣除有疑问或认为存在多扣情况，可以向雇主咨询或向税务机关查询、申诉，由税务机关进行核实和处理。

4. 法律建议：

   • 作为劳动者，应当了解自己的税收义务和权益，确保雇主按照税法规定正确计算和扣除税款。
   • 如果发现雇主存在违法违规行为（如故意多扣税款、不按时缴纳税款等），可以向税务机关举报或寻求法律援助。
   • 在处理税款问题时，建议保留好相关证据（如工资条、税单等），以便在需要时提供证明。

总结：雇主发工资时扣除的税款是由雇主代扣代缴给税务机关的，既不由劳动者退还也不由雇主退还。如果存在多扣税款的情况，应由税务机关核实后退还给劳动者。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。