结论：您不需要退还已发放的工资，但针对未签合同和口头辞退的情况，您有权主张相应的权益。以下是对您问题的详细分析：
一、关于工资退还问题
工资发放的合法性：
- 根据《中华人民共和国劳动法》及相关规定，用人单位应当按照劳动合同约定和国家规定，向劳动者及时足额支付劳动报酬。即使您半年未被安排工作，但只要您与用人单位之间存在劳动关系（无论是否签订书面合同），用人单位就应当支付您相应的工资或生活费（具体标准可能因地区而异，但通常不会低于当地最低工资标准的一定比例）。
- 在您的情况下，既然用人单位已经发放了工资，且没有证据表明这笔工资是误发或超额发放，那么您就没有法律义务退还这笔工资。
工资退还的例外情况：
- 如果用人单位能够证明发放的工资是误发（例如，由于财务错误或系统故障导致的重复发放），或者您与用人单位之间有明确的约定（如预支工资后需在一定条件下退还），那么您可能需要退还部分或全部工资。但在您描述的情况下，这些例外情况似乎并不存在。
二、关于未签合同和口头辞退的问题
未签合同的法律后果：
- 根据《中华人民共和国劳动合同法》的规定，用人单位自用工之日起超过一个月不满一年未与劳动者订立书面劳动合同的，应当向劳动者每月支付二倍的工资。这意味着，如果您在用人单位工作超过一个月且未签订书面合同，您有权要求用人单位支付双倍工资作为赔偿。
口头辞退的合法性：
- 口头辞退本身并不具有法律效力，除非用人单位能够提供充分的证据证明其辞退决定是合法且合理的（例如，您存在严重违反公司规章制度的行为）。在大多数情况下，用人单位应当采用书面形式通知劳动者辞退决定，并说明辞退的理由和依据。
- 如果用人单位仅通过口头方式通知您被辞退，且没有提供充分的证据支持其决定，那么您有权拒绝接受这一决定，并要求用人单位继续履行劳动合同或支付相应的经济补偿。
三、建议与行动
收集证据：
- 尽管您未与用人单位签订书面合同，但您仍然可以收集其他证据来证明您与用人单位之间存在劳动关系（如工作证、工资条、考勤记录、同事证言等）。
- 同时，您也可以尝试记录或保存用人单位口头辞退您的相关证据（如录音、聊天记录等），以备不时之需。
与用人单位协商：
- 在收集到一定证据后，您可以尝试与用人单位进行协商，要求其支付未签合同的双倍工资差额、继续履行劳动合同或支付经济补偿等。
寻求法律援助：
- 如果协商无果，您可以向当地劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。在此过程中，您可以咨询专业律师（如我）以获取更具体的法律建议和帮助。
最后，针对您目前的情况，我建议您先不要急于退还工资，而是先收集证据并尝试与用人单位协商解决。如果协商无果或遇到其他法律问题，您可以随时向我咨询，我会根据您的具体情况提供更详细的法律建议和帮助。