工人一般没有绝对的权利“跟着老板”工作，这主要取决于双方之间的劳动合同约定以及相关法律法规的规定。以下从几个不同角度为你详细分析：
从劳动合同角度
劳动合同的约定：工人与老板之间通常通过签订劳动合同来确立劳动关系。劳动合同中会明确约定工作内容、工作地点、工作时间等关键条款。如果劳动合同中明确规定了工作地点或者工作方式，那么工人应当按照合同的约定来履行工作职责。在这种情况下，工人不能随意要求“跟着老板”工作，除非双方经过协商一致并修改了劳动合同的相关条款。
劳动合同的变更：如果由于某些特殊原因（如老板搬迁工作地点、业务调整等），需要变更劳动合同中的工作地点或工作方式，那么应当遵循《劳动合同法》的相关规定，与工人进行协商并达成一致意见。如果工人不同意变更，老板不能单方面强制要求工人“跟着”到新的工作地点或接受新的工作方式。
从法律法规角度
劳动者的权益保护：根据《劳动法》和《劳动合同法》的相关规定，劳动者享有平等就业和选择职业的权利、取得劳动报酬的权利、休息休假的权利等。这些权益是受到法律保护的，老板不能随意剥夺或限制。因此，如果工人认为“跟着老板”工作会侵犯其合法权益（如工作时间过长、劳动强度过大等），工人有权拒绝并寻求法律保护。
特殊情况下的跟随：在某些特殊情况下（如老板需要工人陪同出差、参加商务活动等），工人可能需要“跟着老板”工作。但这种情况应当是基于双方的协商一致，并且应当符合相关法律法规的规定（如出差期间的工资支付、休息休假等）。
实际操作建议
沟通协商：如果工人对“跟着老板”工作有疑虑或不满，建议首先与老板进行沟通协商，明确双方的权利和义务，寻求双方都能接受的解决方案。
审查劳动合同：工人应当仔细审查自己的劳动合同，了解其中关于工作地点、工作方式等条款的约定，确保自己的权益不受侵犯。
寻求法律帮助：如果工人认为自己的权益受到了侵犯，或者与老板之间的协商无法达成一致意见，可以寻求法律帮助，通过法律途径来维护自己的合法权益。
总结来说，工人是否有权利“跟着老板”工作并不是一个简单的是非问题，而是需要根据具体情况来判断。如果你在这方面有具体的疑问或需要进一步的法律帮助，可以直接向我咨询。