结论：单位要求退回工资是否需要去法院起诉，这取决于具体情况。如果双方能够协商解决，则无需起诉；若协商无果，且单位坚持要求退回工资有合法依据，那么可能需要通过法律途径解决，包括但不限于向劳动监察部门投诉或向法院起诉。
分析说明：
协商解决：
- 在大多数情况下，如果单位认为需要员工退回部分工资，首先会尝试与员工进行协商。协商是解决此类纠纷的最直接、最经济的方式。
- 如果员工认为单位的要求不合理，可以提出自己的异议和理由，与单位进行沟通。在沟通过程中，双方可以寻求共同的解决方案，如调整工资发放方式、分期退回等。
单位要求退回工资的合法性：
- 单位要求员工退回工资，必须有合法的依据。这通常涉及到工资发放的错误、员工违反公司规定或合同约定导致的罚款或赔偿等情况。
- 如果单位无法提供合法的依据，或者其要求违反了法律法规的规定，那么员工有权拒绝退回工资，并可以通过法律途径维护自己的权益。
法律途径解决：
- 向劳动监察部门投诉：如果员工认为单位的要求不合理且无法协商解决，可以向当地的劳动监察部门投诉。劳动监察部门会介入调查，并根据调查结果作出相应的处理。
- 向法院起诉：如果劳动监察部门的处理结果不能满足员工的需求，或者单位坚持要求退回工资且有合法依据，员工可以考虑向法院起诉。在起诉前，员工需要收集相关证据，如工资单、合同、单位要求退回工资的通知等，以证明自己的权益受到侵害。
特殊场景：
- 如果单位要求退回工资是因为员工违反了公司规定或合同约定，且这些规定或约定是合法有效的，那么员工可能需要承担相应的责任，包括退回工资。但即使在这种情况下，员工也有权要求单位提供合法的依据，并可以通过法律途径进行申诉或辩护。
后续行动建议：
- 首先，尝试与单位进行协商，了解单位要求退回工资的具体原因和依据。
- 如果协商无果，且认为单位的要求不合理，可以向当地的劳动监察部门投诉，寻求帮助。
- 如果劳动监察部门的处理结果不能满足需求，或者单位坚持要求退回工资且有合法依据，可以考虑向法院起诉。在起诉前，务必收集好相关证据，并咨询专业律师的意见。
法律背景：
- 根据《中华人民共和国劳动法》和相关法律法规的规定，员工有权获得合法的劳动报酬，单位不得无故克扣或要求员工退回工资。
- 如果单位要求员工退回工资有合法依据，如员工违反公司规定或合同约定导致的罚款或赔偿等，那么员工需要承担相应的责任。但即使在这种情况下，单位也需要提供合法的依据，并遵循相应的法律程序。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。