结论概述：单位受贿案件中，负责人退赃后是否可以向原单位要回用于单位的那部分款项，这并非一个简单的“是”或“否”的问题，而是需要根据具体情况，包括款项的性质、来源、用途以及退赃的具体情况等来进行综合判断。

详细分析：

1. 款项性质与来源：

   • 如果退赃的款项原本就是单位资金，且被用于单位受贿的非法活动，那么这部分款项在退赃后，理论上应回归单位账户，但具体是否能够要回，还需考虑单位内部的财务管理规定以及相关法律法规的约束。
   • 如果退赃的款项是负责人个人资金，用于填补单位受贿造成的损失或作为退赃的一部分，那么这部分款项在退赃后，通常不会直接要回，因为它已经作为了对单位违法行为的补救措施。

2. 退赃的具体情况：

   • 退赃的动机、方式、时间等因素都可能影响款项的最终处理。例如，如果负责人是在案件调查阶段主动退赃，且退赃行为得到了司法机关的认可，那么这部分款项的处理可能会更加灵活。
   • 如果退赃是在案件判决后进行的，且款项已经作为违法所得被没收，那么负责人通常无法再要回这部分款项。

3. 单位内部决策与法律规定：

   • 即使款项在退赃后理论上可以回归单位，但具体是否能够要回还需经过单位内部的决策程序，如董事会、股东会等机构的决议。
   • 同时，还需考虑相关法律法规的规定，如《刑法》、《刑事诉讼法》以及关于贪污贿赂犯罪的司法解释等，这些法律法规可能对款项的处理有明确规定。

4. 实际操作建议：

   • 负责人应首先与单位进行沟通，了解单位对退赃款项的处理意见。
   • 如果单位同意返还部分或全部款项，应签订书面协议，明确款项的金额、返还时间、方式等细节。
   • 如果单位不同意返还，或者双方对款项的处理存在争议，负责人可以寻求法律途径解决，如向法院提起民事诉讼或申请仲裁等。

可能面临的法律后果：

• 如果负责人未经单位同意擅自要回退赃款项，可能构成对单位财产的侵占或挪用，面临刑事责任或民事责任。
• 如果单位在处理退赃款项时存在违法行为，如贪污、挪用等，相关责任人员也可能面临法律责任。

总结与建议：

单位受贿案件中，负责人退赃后是否可以向原单位要回用于单位的那部分款项，需要根据具体情况进行综合判断。建议负责人在处理此类问题时，务必谨慎行事，遵守相关法律法规和单位内部规定，如有需要，可以直接向我咨询，我会根据具体情况为你提供专业的法律建议。