结论：单位虚构劳动关系发的工资是否需要退回，需根据具体情况判断，一般而言，若工资属于不当得利或涉及违法所得，则需要退回；若存在特殊情况，如单位存在过错且劳动者无过错，则可能无需退回或需通过法律程序解决。以下从不同角度详细分析：
一、从不当得利角度分析
法律定义：根据《中华人民共和国民法典》的相关规定，不当得利是指得利人没有法律根据取得不当利益的，受损失的人可以请求得利人返还取得的利益。在单位虚构劳动关系发放工资的情况下，如果劳动者并未实际为单位提供劳动，却获得了工资收入，这通常构成不当得利。
法律后果：一旦构成不当得利，单位有权要求劳动者返还所获得的工资。如果劳动者拒绝返还，单位可以通过法律途径追讨，包括提起民事诉讼等。
二、从违法所得角度分析
法律定义：如果单位虚构劳动关系是为了骗取社会保险、税收优惠或其他政府补贴等违法目的，那么发放的工资可能被视为违法所得。
法律后果：在这种情况下，不仅劳动者需要返还工资，单位还可能面临行政处罚甚至刑事责任。劳动者如果明知单位虚构劳动关系而参与其中，也可能承担相应的法律责任。
三、从特殊情况角度分析
单位过错与劳动者无过错：如果单位虚构劳动关系是由于单位自身的过错（如管理混乱、故意欺诈等），而劳动者在不知情的情况下获得了工资，且劳动者本身并无过错，那么在这种情况下，劳动者可能无需全额返还工资，或者需要通过法律程序来确定返还的金额和方式。
劳动者已提供部分劳动：如果劳动者在虚构劳动关系期间实际上也为单位提供了一定的劳动，那么这部分劳动所对应的工资可能不应被要求全额返还。单位应根据劳动者实际提供的劳动量来支付相应的工资。
四、实际操作建议
核实劳动关系：首先，劳动者应核实自己与单位之间的劳动关系是否真实存在。如果发现单位虚构劳动关系，应及时与单位沟通并要求解释。
咨询专业律师：在涉及法律纠纷时，建议劳动者咨询专业律师以了解自己的权利和义务，以及可能的法律后果。律师可以根据具体情况提供针对性的法律建议和解决方案。
保留证据：无论劳动者是否决定返还工资，都应保留好与单位之间的沟通记录、工资发放凭证等相关证据，以备不时之需。
总结与进一步思考：单位虚构劳动关系发的工资是否需要退回，取决于多种因素，包括是否构成不当得利、是否涉及违法所得以及是否存在特殊情况等。在处理此类问题时，劳动者应保持冷静并咨询专业律师的意见，以便更好地维护自己的合法权益。如果你有进一步的法律问题或需要更详细的法律建议，可以直接向我咨询。