结论是：工伤期间去做兼职被单位发现，并不必然导致需要退回已发放的工资，但具体情况需根据劳动合同、单位规章制度以及相关法律法规来综合判断。以下是从不同角度进行的分析：
一、劳动合同与单位规章制度的角度
劳动合同约定：
- 首先，需要查看您与单位签订的劳动合同中是否有关于工伤期间兼职的明确约定。如果合同中明确规定了工伤期间不得从事其他兼职工作，那么您违反了合同约定，单位有权根据合同条款采取相应的措施，包括但不限于要求退回已发放的工资、解除劳动合同等。
单位规章制度：
- 其次，单位可能有自己的规章制度，对工伤期间员工的行为进行规范。如果规章制度中明确禁止工伤期间兼职，并且您已知晓并同意遵守这些规定，那么您同样需要承担相应的责任。
二、法律法规的角度
工伤保险条例：
- 根据《工伤保险条例》的相关规定，工伤职工在停工留薪期内，原工资福利待遇不变，由所在单位按月支付。这一规定主要是为了保障工伤职工在康复期间的基本生活需求。然而，条例并未明确禁止工伤职工在停工留薪期内从事其他兼职工作。
劳动法与劳动合同法：
- 从劳动法和劳动合同法的角度来看，员工在劳动合同期间享有劳动的权利，但同时也需要遵守劳动合同的约定和单位的规章制度。如果兼职行为没有违反法律法规的强制性规定，也没有对单位造成实际损失，那么单位要求退回已发放的工资可能缺乏法律依据。
三、实际后果与应对策略
实际后果：
- 如果单位坚持要求退回已发放的工资，并且您认为这一要求不合理，那么您可以通过与单位协商、申请劳动仲裁或提起诉讼等方式来维护自己的合法权益。
应对策略：
- 与单位协商：首先，您可以尝试与单位进行沟通，解释您兼职的原因和情况，争取单位的谅解和理解。
- 申请劳动仲裁：如果协商无果，您可以向当地的劳动仲裁机构申请劳动仲裁，要求仲裁机构对争议事项进行裁决。
- 提起诉讼：如果对劳动仲裁结果不满意，您还可以向人民法院提起诉讼，通过司法程序来解决争议。
四、建议与提醒
- 遵守合同与规定：为了避免类似的争议发生，建议您在工伤期间严格遵守劳动合同和单位规章制度的约定，不要从事可能违反规定的行为。
- 保留证据：如果您认为自己的权益受到了侵害，建议您及时保留相关证据，如兼职合同、工资发放记录等，以便在需要时进行维权。
- 咨询专业律师：如果您对法律法规或合同条款的理解存在疑问，或者需要进一步的法律帮助，可以直接向我咨询，我会根据您的具体情况提供专业的法律意见。