结论：老板的行为很可能涉及违法，你是否有必要退还这一万元，取决于多个因素，包括这一万元的性质、老板的行为是否构成行贿以及你是否知情等。以下从不同角度为你详细分析。

一、关于老板行为是否违法

1. 如果老板建厂房存在违法行为（如未取得合法建设手续、违反环保规定等），并且他给你一万元是为了让你不要举报，这种行为可能构成行贿。根据《中华人民共和国刑法》的相关规定，行贿罪是指为谋取不正当利益，给予国家工作人员以财物的行为。虽然你并非国家工作人员，但若老板的行为意图是阻止你向相关部门举报其违法行为，从而逃避法律制裁，这种行为在道德和法律上都是不被接受的，且如果涉及向公职人员行贿以逃避监管，则直接构成行贿罪。

2. 如果老板的行为不构成行贿，但给你一万元作为“封口费”，这种行为同样可能违反法律法规，因为它试图通过金钱交易来掩盖违法行为，破坏了社会的公平正义和法治原则。

二、关于你是否有必要退还这一万元

1. 如果这一万元被认定为行贿款项：

   • 你有义务退还这一万元，因为接受行贿是违法的，即使你并非主动索取。
   • 退还这一万元可以表明你拒绝参与违法行为的立场，有助于减轻或避免你可能承担的法律责任。

2. 如果这一万元不被认定为行贿款项，但属于不当得利：

   • 从道德和法律的角度来看，你同样应该退还这一万元。因为这一万元是基于老板的违法行为而获得的，你没有合法的依据来保留它。
   • 退还这一万元可以维护你的个人声誉和道德形象，避免未来可能出现的法律纠纷。

3. 如果你不知情或被迫接受这一万元：

   • 如果你在接受这一万元时并不知道老板的违法行为，或者你是被迫接受的，那么你在发现后应该立即退还这一万元，并向相关部门举报老板的违法行为。
   • 在这种情况下，你的退还行为可以表明你的无辜和拒绝参与违法行为的决心。

三、建议与行动

1. 立即退还这一万元：无论这一万元的性质如何，从法律和道德的角度来看，你都没有理由保留它。退还这一万元可以表明你的立场和态度，避免未来可能出现的法律纠纷。

2. 向相关部门举报老板的违法行为：如果你知道老板存在违法行为，并且他试图通过给你一万元来阻止你举报，那么你应该向相关部门（如环保部门、建设部门等）举报老板的违法行为。这不仅可以维护社会的公平正义和法治原则，还可以保护你自己免受潜在的法律责任。

3. 咨询专业律师：如果你对这一万元的性质、老板的行为是否构成违法以及你是否有必要退还等问题存在疑问或担忧，建议你咨询专业律师以获取更具体的法律建议和指导。

在处理此类问题时，请务必保持冷静和理性，不要因为一时的利益而陷入法律纠纷。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。