结论：常年夜班单位没有夜班津贴制度一般是不合法的，您有可能主张追回全部夜班津贴，但具体能否追回以及追回的金额，需结合实际情况判断。

分析如下：

1. 夜班津贴的合法性：

   • 根据我国相关劳动法律法规，劳动者在夜班工作期间，用人单位应当支付夜班津贴或者给予其他形式的补偿。夜班津贴是对劳动者在夜间工作所付出的额外劳动和牺牲正常休息时间的一种补偿。因此，如果单位没有夜班津贴制度，这通常是不合法的，违反了劳动法中关于劳动者权益保护的规定。

2. 主张追回夜班津贴的可行性：

   • 存在劳动关系证明：首先，您需要证明与单位之间存在劳动关系，这通常可以通过劳动合同、工资条、工作证等证据来证明。
   • 夜班工作证明：其次，您需要提供证据证明您确实从事了夜班工作，如考勤记录、工作安排表等。
   • 单位未支付夜班津贴的证据：最后，您需要收集单位未支付夜班津贴的相关证据，如工资条中未显示夜班津贴、单位未提及夜班津贴制度等。
   • 主张追回：在收集到上述证据后，您可以向单位提出主张，要求支付夜班津贴。如果单位拒绝支付，您可以通过劳动仲裁或诉讼等法律途径来维护自己的权益。

3. 可能面临的挑战与应对：

   • 单位抗辩：单位可能会以各种理由抗辩，如夜班津贴已包含在基本工资中、夜班工作不构成额外劳动等。针对这些抗辩，您需要准备充分的证据来反驳，如证明夜班工作与正常工作在时间、强度等方面的差异。
   • 证据收集难度：在实际操作中，收集证据可能存在一定的难度。因此，建议您在日常工作中注意保留相关证据，如及时打印考勤记录、保存工作安排表等。

4. 夜班津贴的计算：

   • 夜班津贴的具体金额通常由地方性法规或单位规章制度规定，如果地方没有明确规定，可以参照行业惯例或单位内部的相关规定。计算公式一般为：夜班津贴金额 = 夜班工作时长 × 每小时夜班津贴标准（该标准可能因地区、行业或单位而异）。
   • 如果无法确定具体的夜班津贴标准，您可以参考当地类似岗位或行业的平均水平，或者向劳动监察部门咨询以获取更准确的信息。

建议：

• 在主张追回夜班津贴前，建议您先与单位进行协商，看是否能够达成和解。
• 如果协商无果，您可以向当地的劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。
• 在整个过程中，建议您保留好所有相关证据，以便在需要时提供证明。

如果您在夜班津贴追回过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。