收了老板的钱退回去了，一般情况下不算受贿，但具体还需根据实际情况判断。以下从不同角度为你详细分析：
一、受贿的构成要件
受贿罪通常要求具备以下几个构成要件：
主体要件：受贿罪的主体一般是国家工作人员，包括国家机关、国有公司、企业、事业单位、人民团体中从事公务的人员，以及国家机关、国有公司、企业、事业单位委派到非国有公司、企业、事业单位、社会团体从事公务的人员，或者其他依照法律从事公务的人员。如果你并非国家工作人员，则不构成受贿罪的主体。
客观要件：受贿罪在客观方面表现为利用职务上的便利，索取他人财物，或者非法收受他人财物，为他人谋取利益的行为。这里的“利用职务上的便利”是指利用本人职务范围内的权力，即自己职务上主管、负责或者承办某项公共事务的职权及其所形成的便利条件。如果你并未利用职务上的便利，或者并未为老板谋取利益，则不符合受贿罪的客观要件。
主观要件：受贿罪在主观方面表现为故意，即明知自己的行为是收受他人财物，并且会利用职务上的便利为他人谋取利益，而仍然希望或放任这种结果的发生。如果你在收受老板财物时并无此故意，或者事后及时退还，则可能不构成受贿罪。
二、退还钱款的影响
如果你在收受老板的钱款后，及时退还，这通常表明你并无受贿的故意，也并未实际占有该财物。在这种情况下，即使你之前收受了钱款，但由于及时退还，一般不构成受贿罪。然而，如果退还钱款的行为是在被调查或发现后进行的，或者退还时存在其他不正当目的，如试图掩盖受贿事实等，则可能仍然构成受贿罪。
三、特殊情况下的判断
如果老板给予钱款是出于感谢或奖励等正当目的，且你并未利用职务上的便利为老板谋取利益，同时你也及时退还了钱款，那么这种情况一般不构成受贿罪。
如果老板给予钱款是出于行贿的目的，试图通过给予财物来影响你的职务行为或获取不正当利益，而你在不知情的情况下收受了钱款，但事后发现并及时退还，同时向相关部门报告了此事，那么你的行为可能不构成受贿罪，但老板的行为可能构成行贿罪。
四、法律建议
保持警惕：在工作中，要时刻保持警惕，避免因为一时疏忽而陷入受贿的嫌疑。对于任何不明来源的财物，都应谨慎对待，及时询问清楚并妥善处理。
及时退还：如果确实因为某种原因收受了老板的钱款，且发现后并无受贿的故意，应尽快退还钱款，并向相关部门说明情况，以避免不必要的法律纠纷。
咨询专业律师：如果你对某个行为是否构成受贿存在疑问，或者已经涉及相关法律纠纷，建议及时咨询专业律师，以便得到更准确的法律意见和帮助。
总之，收了老板的钱退回去了，一般情况下不算受贿，但具体还需根据实际情况判断。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。