关于公司给员工变更工作地址是否合法的问题，这主要取决于劳动合同中的相关约定以及变更的合理性和必要性。以下是我为您详细分析的解答：

首先，根据《中华人民共和国劳动合同法》第二十九条的规定，用人单位与劳动者应当按照劳动合同的约定，全面履行各自的义务。这意味着，如果劳动合同中明确约定了工作地点，并且没有赋予公司单方面变更工作地点的权利，那么公司未经员工同意就单方面调换工作地点，可能构成违约。

然而，如果劳动合同中确实包含了公司有权根据生产需要或其他合理原因变更员工工作地点的条款，那么公司变更工作地址的行为在合同层面可能是合法的。但即便如此，公司也需要考虑变更的合理性和对员工的影响。

在变更工作地址时，公司应当与员工进行充分的协商，寻求双方都能接受的解决方案。根据《中华人民共和国劳动合同法》第三十五条的规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容。在协商过程中，员工可以提出自己的合理诉求，比如交通、生活便利等方面的考虑，公司应当认真考虑并尽可能满足员工的合理需求。

如果公司坚持单方面调换工作地点，并且该调动对员工产生重大影响或严重侵犯其劳动者权益，员工有权采取法律手段来维护自身权益。这包括但不限于向劳动争议调解委员会申请调解、向劳动争议仲裁委员会申请仲裁，或者向人民法院提起诉讼。

以楚先生的案例为例，如果他的劳动合同中约定了工作地点为上海市，并且写明工厂有权利根据生产需要变更员工的工作地址，那么工厂因业务要求将办公场所整体搬迁至新址，在合同层面可能是合法的。但工厂也需要考虑变更对员工的影响，并采取相应的补救措施，如安排班车、发放交通补贴等，以弥补变更工作地点带来的不便。

综上所述，公司给员工变更工作地址是否合法，需要综合考虑劳动合同的约定、变更的合理性和必要性、对员工的影响以及公司是否采取了恰当的补救措施等因素。如果公司未经员工同意就单方面调换工作地点，并且该调动对员工产生重大影响或严重侵犯其劳动者权益，员工有权采取法律手段来维护自身权益。