结论：原单位隔了几年要求退回违规发放的津贴，是否需要退回需分情况讨论，主要取决于津贴的性质、发放的依据以及是否超过了法律规定的追诉时效等因素。以下是对此问题的详细分析：
一、津贴的性质与发放依据
合法津贴：如果原单位发放的津贴是基于合法的规章制度或劳动合同约定，且符合相关法律法规的规定，那么这种津贴是合法的，员工无需退回。
违规津贴：如果津贴的发放违反了法律法规、公司规章制度或劳动合同的约定，例如超出了法定标准、未经审批或存在其他违规情形，那么这种津贴可能被视为违规发放。
二、追诉时效的问题
一般规定：根据《中华人民共和国民法典》第一百八十八条，向人民法院请求保护民事权利的诉讼时效期间为三年。这意味着，如果原单位在违规发放津贴后的三年内未提出异议或要求退回，那么超过这个期限后，其要求退回的权利可能受到法律保护的限制。
特殊情况：然而，如果违规发放津贴的行为涉及欺诈、恶意串通等情形，或者原单位在发现违规后立即采取了措施（如发出书面通知要求退回），那么诉讼时效的计算可能会受到影响。此外，如果双方有特别约定或存在其他特殊情况，也可能影响诉讼时效的适用。
三、是否需要退回的具体分析
如果津贴违规且未超过诉讼时效：如果原单位能够证明津贴的发放是违规的，并且该要求退回的请求未超过法律规定的诉讼时效期间，那么员工可能需要退回违规发放的津贴。
如果津贴违规但已超过诉讼时效：如果原单位的要求退回请求已经超过了法律规定的诉讼时效期间，且员工能够提出有效的抗辩（如诉讼时效已过），那么员工可能无需退回违规发放的津贴。但需要注意的是，即使诉讼时效已过，如果员工自愿退回或双方达成和解协议，员工仍可能需要退回部分或全部津贴。
如果津贴合法：如果津贴的发放是合法的，那么原单位无权要求员工退回。员工可以拒绝原单位的要求，并保留相关证据以维护自己的合法权益。
四、建议与措施
核实津贴性质：员工应首先核实原单位要求退回的津贴是否违规发放。这可以通过查阅相关法律法规、公司规章制度或劳动合同等文件来确定。
咨询专业意见：如果员工对津贴的性质或原单位的要求存在疑问，建议咨询专业律师或法律机构以获取准确的法律意见。
保留证据：员工应保留与津贴发放相关的所有证据，包括工资单、津贴发放记录、公司规章制度、劳动合同等文件。这些证据在后续可能发生的争议中至关重要。
协商解决：如果可能的话，员工可以与原单位进行协商，寻求双方都能接受的解决方案。这有助于避免不必要的法律纠纷和成本。
最后，原单位隔了几年要求退回违规发放的津贴是一个复杂的问题，需要综合考虑多种因素。如果你对此问题仍有疑问或需要进一步的法律帮助，请直接向我咨询。