即使钱已经还给老板，如果纪委认定构成受贿，那么仍然可能面临追缴。下面我来详细解释这一点：

首先，我们要明确的是，受贿行为的本质在于利用职务上的便利，为他人谋取利益，并收受他人财物。这一行为的核心在于“收受”，而不仅仅在于“占有”。因此，即使你将收受的财物退还给了行贿人（在这里是老板），也并不能改变你曾经收受过财物的事实。

其次，纪委作为党的纪律检查机关，其职责包括维护党的纪律，查处违纪行为。如果纪委经过调查认定你构成受贿，那么这一认定是基于事实和证据作出的，不会因为你的退还行为而轻易改变。

最后，关于追缴的问题。如果纪委认定你构成受贿，并且涉案财物尚未被完全退还或上缴，那么相关部门是有权进行追缴的。追缴的目的是为了挽回损失，维护社会公正和法治秩序。因此，即使你已经将钱退还给了老板，但如果纪委认为你的行为构成受贿，并且涉案金额较大或情节严重，那么仍然可能面临追缴的风险。

综上所述，即使你将收受的财物退还给了行贿人，如果纪委认定你构成受贿，那么仍然可能面临追缴。因此，我建议你尽快咨询专业律师，了解具体的法律风险和应对策略。如果你有任何其他问题或需要进一步的法律帮助，请随时向我提问。