结论：兼职签了合同当天不干了，合同是否需要退还并非核心问题，关键在于如何妥善处理与用人单位的劳动关系及合同解除事宜。以下从多个角度为你详细分析：
一、合同退还问题
合同退还本身并不是法律上的强制要求，它更多是一种形式上的交接。如果你决定不再继续这份兼职工作，与用人单位沟通时，可以询问对方是否需要退还合同。如果对方需要，你可以退还；如果对方不需要，你也可以自行保留，但建议妥善保管，以备不时之需。
二、合同解除事宜
明确合同约定
- 首先，你需要仔细审查兼职合同中关于解除合同的相关条款。这是处理此类问题的关键依据。
- 如果合同中明确约定了提前终止工作的条件及相应程序，且你的情况符合这些条件，你应按照合同规定的程序提出解约。
- 如果合同中规定了提前通知期，你应遵循此约定提前通知用人单位，通常不会构成违约。
与用人单位协商
- 无论合同中有无相关约定，与用人单位进行友好协商都是解决此类问题的重要途径。
- 你可以向用人单位详细说明你不愿继续工作的原因，如个人学业压力、健康状况等，以争取对方的理解和支持。
- 如果协商成功，双方应就解除合同的具体事宜达成一致意见，并形成书面协议。该协议应明确双方的权利和义务，包括工资结算、工作交接等内容，以避免后续产生纠纷。
法定解除情形
- 在某些特定情形下，你可以依法直接解除合同而无需承担违约责任。
- 如果用人单位以暴力、威胁或非法限制人身自由的手段强迫你劳动，你可以立即解除劳动合同，无需事先告知。
- 如果用人单位未按劳动合同约定支付劳动报酬或提供劳动条件（如工作设备、环境等与合同约定严重不符），你也可以依法解除合同。
三、可能面临的法律后果
- 如果合同中包含违约条款，如提前离职需支付违约金，你应评估违约金的合理性。根据《民法典》规定，若违约金过分高于实际损失，你有权请求人民法院或仲裁机构适当减少。
- 如果在与用人单位协商过程中产生争议，或通过协商无法解决问题，你可以采取法律途径维护自己的合法权益，如向劳动监察部门投诉或申请劳动仲裁。
四、建议与提醒
- 在处理此类问题时，保持冷静、理性，并遵循法律法规的规定是关键。
- 如果你对合同条款或法律程序有疑问，可以随时向我咨询，我会为你提供专业的法律意见和帮助。
总之，兼职签了合同当天不干了，合同退还并非首要问题，关键在于如何妥善处理与用人单位的劳动关系及合同解除事宜。希望以上分析能对你有所帮助，如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。