结论：退休差三年时能否与单位谈辞退补偿金，需根据具体情况判断，若单位存在违法行为或符合法定补偿情形，则有权要求补偿；若为个人主动辞职且单位无过错，则通常无法获得补偿。以下为详细分析：

一、单位存在违法行为或符合法定补偿情形

1. 单位违法行为：

   • 根据《中华人民共和国劳动合同法》第三十八条，若单位存在未按照劳动合同约定提供劳动保护或劳动条件、未及时足额支付劳动报酬、未依法为劳动者缴纳社会保险费等违法行为，劳动者有权解除劳动合同，并可以要求单位支付经济补偿。
   • 举例：若单位长期拖欠工资或未缴纳社保，您即使退休差三年，也有权解除劳动合同并要求补偿。

2. 法定补偿情形：

   • 根据《中华人民共和国劳动合同法》第四十六条，除劳动者自愿离职且单位无过错外，其他如单位提出解除劳动合同并与劳动者协商一致、单位依照法律规定解除劳动合同等情形，单位均应支付经济补偿。
   • 举例：若单位因经营困难需要裁员，且您属于被裁员范围，即使退休差三年，也有权获得经济补偿。

3. 经济补偿的计算方式：

   • 根据《中华人民共和国劳动合同法》第四十七条，经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。
   • 计算公式：\(经济补偿 = 工作年限 \times 月工资\)（工作年限按上述规则计算，月工资为劳动合同解除或终止前十二个月的平均工资）。
   • 举例：若您在单位工作了10年，月工资为5000元，则经济补偿为\(10 \times 5000 = 50000\)元。

二、个人主动辞职且单位无过错

• 若您因个人原因（如家庭原因、职业规划等）主动提出辞职，且单位不存在上述违法行为或法定补偿情形，则根据《中华人民共和国劳动合同法》第四十六条，您通常无法获得经济补偿。
• 举例：若您因觉得工作太累而主动辞职，且单位已按时足额支付工资、缴纳社保，则您无法要求单位支付经济补偿。

三、特殊情况：接近退休年龄的劳动者

• 对于接近退休年龄的劳动者（如您退休差三年），若单位因您年龄原因而提出解除劳动合同，且该解除不符合法定补偿情形（如非因劳动者过错或单位经营困难等），则可能涉及违法解除劳动合同的问题。
• 在此情况下，您有权要求单位继续履行劳动合同或支付赔偿金（赔偿金通常为经济补偿的两倍）。但具体需根据实际情况和当地司法实践判断。

建议：若您面临退休差三年被单位辞退的情况，建议首先了解单位辞退的具体原因和依据，然后根据上述分析判断自己是否有权要求经济补偿。如有疑问或需要进一步帮助，请直接向我咨询。