结论：跟不属于管理服务对象的老板借钱且已经归还，一般情况下不会被追责。但具体是否会被追责，还需根据借款时的具体情况、借款合同或协议的内容以及是否存在其他违法行为来综合判断。

分析说明：

1. 借款关系的本质：

   • 借款关系本质上是民事法律关系，受《中华人民共和国民法典》等法律法规的调整。只要借款行为本身合法，且双方意思表示真实，借款合同或协议即具有法律效力。
   • 在您描述的情况下，您与老板之间的借款关系并不涉及管理服务对象的问题，因此，这一关系本身并不构成违法或违规的理由。

2. 还款后的法律后果：

   • 一旦您按照借款合同或协议的约定归还了借款，借款关系即告终止。此时，除非存在其他违法行为（如诈骗、高利贷等），否则您不会被追责。
   • 如果借款时双方没有签订书面合同或协议，但存在口头约定，且您已经按照口头约定归还了借款，那么在没有其他证据证明存在违法行为的情况下，您同样不会被追责。

3. 可能存在的风险点：

   • 借款合同或协议的合法性：如果借款合同或协议中存在违法条款（如高利贷、诈骗等），即使您已经归还了借款，也可能面临法律风险。但这种情况与是否属于管理服务对象无关，而是与借款合同或协议本身的合法性有关。
   • 借款时的行为：如果您在借款时存在欺诈、胁迫等违法行为，即使已经归还了借款，也可能面临法律责任。但同样，这与是否属于管理服务对象没有直接关系。

4. 特殊情况考虑：

   • 如果老板在借款时利用其职权或地位对您进行了不当影响（如强迫借款、设置不合理的借款条件等），且这种影响与您的职务或工作有关，那么可能涉及职务违法或犯罪的问题。但这种情况比较特殊，且需要具体证据来支持。
   • 另外，如果借款行为被认定为行贿或受贿等违法行为的一部分（尽管这种情况较为罕见），那么即使已经归还了借款，也可能面临法律责任。但这同样需要具体证据来证明借款行为与行贿或受贿之间的关联。

建议与行动：

• 保留证据：为了确保自己的权益不受侵害，建议您保留好借款合同或协议、还款凭证等相关证据。
• 咨询专业意见：如果您对借款关系的合法性或可能存在的法律风险有疑问，可以直接向我咨询，我会根据您的具体情况提供专业的法律意见。
• 遵守法律法规：无论在任何情况下，都请确保您的借款行为合法合规，避免涉及任何违法行为。