结论：工伤不认定的情况下，单位工资一般不需要退还，但具体情况需结合实际分析。以下从不同角度为你详细解释：

法律角度

1. 工资支付义务：根据《工伤保险条例》以及相关劳动法律法规，在劳动关系存续期间，用人单位有义务按照劳动合同的约定和国家规定，向劳动者支付工资。工伤认定与否，并不影响劳动者与用人单位之间已经存在的劳动关系，以及用人单位基于劳动关系而产生的工资支付义务。也就是说，只要劳动者提供了正常劳动，或者因工伤处于停工留薪期等符合工资支付条件的情形，用人单位就应当支付工资。
2. 工伤认定与工资关系：工伤认定是对劳动者所受伤害是否属于工伤的法定认定程序。如果最终没有被认定为工伤，这并不意味着用人单位可以要求劳动者退还已经支付的工资。因为工资是劳动者付出劳动的报酬，与是否构成工伤没有直接的因果关系。例如，劳动者在工作中因自身疏忽导致受伤，虽然没有被认定为工伤，但他在受伤前已经正常工作了相应的时间，用人单位已经享受了劳动者提供的劳动成果，所以没有理由要求退还工资。

特殊情况分析

1. 存在欺诈等违法行为：如果劳动者在申请工伤认定过程中存在欺诈、伪造证据等违法行为，导致用人单位基于错误的认识支付了工资，那么用人单位在发现后有权要求劳动者退还工资。例如，劳动者明明不是在工作过程中受伤，却伪造工作场景和受伤经过，骗取工伤认定和工资待遇，这种情况下用人单位可以通过法律途径追回已支付的工资。不过，用人单位需要承担举证责任，证明劳动者存在欺诈等违法行为。
2. 未提供劳动且无合理理由：如果劳动者在受伤后，没有提供任何劳动，且没有合理的停工留薪等理由，用人单位可能不需要支付工资。但这种情况与工伤认定本身并没有直接关联，而是基于劳动者是否实际提供了劳动来决定的。比如，劳动者受伤后，既没有按照规定进行就医治疗，也没有向用人单位说明情况，擅自离岗，这种情况下用人单位可以不支付其离岗期间的工资。

后续行动建议

1. 与单位沟通协商：如果你对单位要求退还工资的做法有疑问，可以先与单位进行沟通协商，了解单位要求退还工资的具体原因和依据。在沟通的过程中，要保持冷静和理性，明确表达自己的观点和诉求。
2. 申请劳动仲裁：如果与单位沟通协商无果，你可以向当地的劳动争议仲裁委员会申请劳动仲裁。在申请仲裁时，你需要提交相关的证据材料，如劳动合同、工资支付记录、工伤认定申请材料等，以证明自己的主张。劳动仲裁委员会会根据双方提供的证据和相关法律法规进行裁决。
3. 寻求法律援助：如果你在处理这个问题过程中遇到困难，或者对法律程序不太了解，可以寻求法律援助。你可以向当地的法律援助机构咨询，或者聘请专业的律师为你提供法律帮助。

如果你还有其他关于工伤认定、赔偿或者工资支付等方面的问题，欢迎直接向我咨询。