结论：公职人员向老板借钱后老板被抓，借的钱应当退还给老板（或其合法继承人/财产管理人），而非直接退给纪委。以下是详细分析：

一、法律关系分析

1. 借贷关系的本质：

   • 公职人员与老板之间形成的是民间借贷法律关系。根据《中华人民共和国民法典》的相关规定，借贷双方应当遵循诚实信用原则，按照约定履行还款义务。
   • 老板作为出借人，有权要求借款人（公职人员）按照约定的期限和方式归还借款。

2. 纪委的职责与权限：

   • 纪委是党内监督机构，主要负责监督党员领导干部的廉洁自律情况，查处违纪违法行为。
   • 纪委并不直接参与民事借贷纠纷的解决，也不是借款的合法接收方。

二、退款对象的选择

1. 退还给老板：

   • 既然借贷关系发生在公职人员与老板之间，那么按照合同相对性原则，公职人员应当将借款退还给老板。
   • 如果老板因被抓等原因无法直接接收退款，公职人员可以将款项退还给老板的合法继承人或财产管理人。

2. 不直接退给纪委的原因：

   • 纪委不是借贷关系的当事人，无权直接接收退款。
   • 如果公职人员涉嫌违纪违法，纪委可能会介入调查，但这并不改变借贷关系的本质和退款对象的选择。

三、特殊情况的处理

1. 如果借款涉及违法犯罪：

   • 如果公职人员与老板之间的借款行为本身涉嫌违法犯罪（如行贿受贿、洗钱等），那么退款问题可能会变得更加复杂。
   • 在这种情况下，公职人员应当积极配合司法机关的调查，并根据调查结果和法律程序处理退款事宜。
   • 如果借款被认定为违法所得，可能会被依法没收或追缴，但这一过程需要通过司法程序进行，而不是直接退给纪委。

2. 如果老板被抓后财产被查封或冻结：

   • 如果老板被抓后其财产被查封或冻结，公职人员应当暂停还款，并咨询专业法律人士（即向我咨询）了解如何合法合规地处理退款事宜。
   • 在这种情况下，直接退款可能会导致款项被错误地认定为老板的违法所得或被用于其他非法目的。

四、法律建议

1. 保留证据：

   • 公职人员应当保留好与老板之间的借贷合同、转账记录、聊天记录等证据，以证明借贷关系的存在和还款情况。

2. 咨询法律人士：

   • 在处理退款事宜时，公职人员应当咨询专业法律人士（即向我咨询），了解自己的权利和义务，确保退款过程合法合规。

3. 积极配合调查：

   • 如果公职人员涉嫌违纪违法，应当积极配合纪委和司法机关的调查，如实陈述事实，提供相关证据。

总结：公职人员向老板借钱后老板被抓，借的钱应当退还给老板（或其合法继承人/财产管理人）。在处理退款事宜时，公职人员应当保留好相关证据，咨询专业法律人士，并积极配合调查。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。