结论：公司因你不愿去其他地方上班而将你“退给人事部”，这一行为是否合法以及你该如何应对，需分情况讨论，具体如下：
若公司调岗具有合理性且程序合法
- 合理性判断：如果公司因生产经营需要，比如原工作地点撤销、业务调整等合理原因，且新工作地点与原工作地点距离不是特别遥远，或者公司提供了必要的交通补贴、住宿安排等，使得调岗不会给你的生活造成明显不合理的影响，那么这种调岗可能被认定为具有合理性。
- 程序合法性：公司应与你进行充分的协商，告知你调岗的原因、新岗位的工作内容、工作地点、薪资待遇等关键信息，并听取你的意见。如果公司在未与你协商一致的情况下单方面强制调岗，可能违反法定程序。
- 应对方式：在这种情况下，若你拒绝调岗，公司以你不服从工作安排为由将你“退给人事部”（可能意味着解除劳动合同或进行其他处理），公司的行为可能不合法。你可以与公司沟通，说明你拒绝调岗的合理理由，要求公司继续履行原劳动合同。如果公司坚持解除劳动合同，你可以收集相关证据，如劳动合同、调岗通知、沟通记录等，向劳动仲裁机构申请仲裁，要求公司支付违法解除劳动合同的赔偿金。
若公司调岗不具有合理性或程序违法
- 不具有合理性的情形：比如公司将你调到一个与原工作地点相距极远，且没有提供任何交通、住宿等便利条件，导致你无法正常履行劳动合同；或者新岗位的工作内容与原岗位完全不相关，且你没有相应的能力和资质等。
- 程序违法的情形：公司未与你进行任何协商，直接发出调岗通知，要求你到新地点上班。
- 应对方式：你有权拒绝公司的调岗要求。如果公司因此将你“退给人事部”并采取解除劳动合同等不利措施，公司的行为属于违法解除。你可以向劳动监察部门投诉，或者向劳动仲裁机构申请仲裁，要求公司继续履行劳动合同或者支付违法解除劳动合同的赔偿金。赔偿金的标准按照你在公司的工作年限，每满一年支付两个月工资的标准计算。
关于“退给人事部”的具体含义及应对
- 含义分析：“退给人事部”可能有不同的含义，一种是公司暂时将你的人事关系交回人事部，等待进一步处理；另一种可能是公司打算与你解除劳动合同，将相关手续交由人事部办理。
- 应对方式：无论哪种情况，你都应要求公司出具书面的通知或说明，明确公司的意图和处理方式。如果公司拒绝出具书面材料，你可以通过录音、聊天记录等方式固定相关证据。同时，你可以主动与人事部沟通，了解具体情况，并表明自己的立场和诉求。如果公司最终决定解除劳动合同，一定要确保公司按照法定程序进行，并支付相应的经济补偿或赔偿金。