针对您提出的“退休退回单位未办理档案转移手续，可以不办理退工吗”这一问题，我们可以从法律的角度进行详细分析。
首先，根据《中华人民共和国劳动合同法》第五十条的规定，用人单位在解除或者终止劳动合同时，有义务在十五日内为劳动者办理档案和社会保险关系转移手续。这一规定明确了用人单位在劳动关系解除或终止后的法定义务，即必须为劳动者办理档案和社会保险关系的转移。
其次，法律并未将劳动者办理工作交接作为用人单位办理档案和社保关系转移的前置条件。也就是说，无论劳动者是否办理了工作交接，用人单位都不能以此为由拒绝办理档案和社保关系的转移。如果用人单位因迟延办理档案和社保转移手续而给劳动者造成损失的，还需要承担相应的赔偿责任。
现在，针对您提到的具体情况——退休退回单位未办理档案转移手续，我们可以明确以下几点：
退休退回：这通常意味着劳动者与用人单位的劳动关系已经解除或终止。在这种情况下，用人单位有义务为劳动者办理档案和社会保险关系的转移。
未办理档案转移手续：如果用人单位未按照法律规定办理档案转移手续，那么这构成了对劳动者权益的侵犯。劳动者有权要求用人单位立即办理，并可以就因此造成的损失向用人单位主张赔偿。
是否可以不办理退工：退工通常指的是用人单位与劳动者解除或终止劳动关系后的相关手续。在您的情况下，如果劳动关系已经解除或终止（如退休），那么“退工”这一概念可能已经不再适用。但无论如何，用人单位都必须按照法律规定为劳动者办理档案和社会保险关系的转移。
综上所述，退休退回单位后，无论是否办理了工作交接或其他手续，用人单位都必须按照法律规定为劳动者办理档案和社会保险关系的转移。如果用人单位未办理，劳动者有权要求其立即办理，并可以就因此造成的损失主张赔偿。因此，不可以因为单位未办理档案转移手续就不办理退工（或相关手续），因为这违反了法律规定，并可能给劳动者带来不必要的损失。