结论是：旅游团导游强制游客购物且以不买为由赶走游客的行为，通常是不合法的，但具体是否违法及游客的维权方式，需根据实际情况来判断。以下从不同角度为你详细分析：
一、导游强制购物并赶走游客的合法性分析
从合同角度：
- 游客与旅行社之间签订了旅游合同，合同中通常会明确旅游行程、服务标准、费用等条款。如果合同中没有明确规定游客必须购物，或者没有规定不购物将受到何种处罚，那么导游强制游客购物并赶走游客的行为，就违反了合同约定，构成了违约。
- 游客有权要求旅行社继续履行合同，或者要求旅行社承担违约责任，如赔偿损失等。
从消费者权益保护角度：
- 根据《中华人民共和国消费者权益保护法》的相关规定，消费者享有自主选择商品或者服务的权利，有权拒绝经营者的强制交易行为。
- 导游强制游客购物，剥夺了游客的自主选择权，构成了强制交易行为，是违法的。游客有权向相关部门投诉，要求维护自己的合法权益。
从旅游管理角度：
- 根据《中华人民共和国旅游法》的相关规定，旅行社不得以不合理的低价组织旅游活动，诱骗旅游者，并通过安排购物或者另行付费旅游项目获取回扣等不正当利益。
- 导游作为旅行社的员工，应当遵守旅游法的规定，不得强制游客购物。如果导游违反了规定，旅行社应当承担相应的法律责任。
二、游客遭遇导游强制购物并被赶走时的维权方式
与旅行社协商：
- 游客可以先与旅行社进行协商，要求旅行社继续履行合同或者赔偿损失。在协商过程中，游客可以保留好相关证据，如旅游合同、购物发票、导游的言行记录等，以便在协商不成时作为维权依据。
向相关部门投诉：
- 如果协商不成，游客可以向当地的旅游管理部门或者消费者协会进行投诉。投诉时，游客需要提供详细的投诉材料和证据，以便相关部门能够及时了解情况并作出处理。
寻求法律援助或提起诉讼：
- 如果游客的权益受到了严重侵害，且无法通过协商和投诉解决，游客可以寻求法律援助或者向法院提起诉讼。在诉讼过程中，游客需要提供充分的证据来证明自己的主张，并承担相应的诉讼费用。
三、特殊情况下的考虑
如果旅游合同中有明确规定：虽然这种情况较为少见，但如果旅游合同中确实明确规定了游客必须购物或者不购物将受到何种处罚，且游客在签订合同时已经知晓并同意了这些条款，那么导游的行为可能不构成违法。但即便如此，如果处罚条款显失公平或者违反了法律法规的强制性规定，游客仍然有权要求撤销或者变更这些条款。
如果导游的行为构成犯罪：在极端情况下，如果导游的行为构成了犯罪（如诈骗、敲诈勒索等），游客应当立即向公安机关报案，并配合公安机关的调查工作。
最后建议：在旅游过程中，游客应当保持警惕，仔细阅读旅游合同中的条款，了解自己的权利和义务。如果遇到导游强制购物或者被赶走的情况，游客应当保持冷静，保留好相关证据，并及时采取维权措施。如果你还有其他关于旅游合同纠纷的问题，可以直接向我咨询。