结论：单位安排劳务人员到别的地方上班，劳务人员是否可以不去不能一概而论，需分情况讨论。
- 若劳务派遣合同或劳动合同中有明确约定工作地点及变更条款：
- 如果合同中明确规定了工作地点，并且约定了单位在何种情况下、以何种方式可以变更工作地点，那么当单位按照合同约定进行变更时，劳务人员一般应当服从安排。因为合同是双方自愿达成的协议，具有法律约束力，双方都应当遵守。例如，合同中约定“因业务需要，单位有权将员工派往其分支机构或关联企业工作，员工应予以配合”，在这种情况下，单位安排你去别的地方上班，你若无正当理由拒绝，可能构成违约，单位有权依据合同约定采取相应措施，如警告、扣发工资甚至解除合同等。
- 但是，如果单位变更工作地点的行为超出了合同约定的范围或者违反了合同约定的变更程序，那么劳务人员有权拒绝。比如，合同约定变更工作地点需提前一个月书面通知并协商一致，但单位未履行这些程序就强行要求你到别的地方上班，此时你可以拒绝，并且如果因此给你造成了损失，你还可以要求单位承担赔偿责任。
- 若劳务派遣合同或劳动合同中没有明确约定工作地点或变更条款：
- 在这种情况下，单位变更工作地点属于对劳动合同内容的重大变更，应当与劳务人员协商一致。如果未经协商一致就单方面安排你去别的地方上班，你有权拒绝。因为根据《劳动合同法》的规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容。变更劳动合同，应当采用书面形式。如果单位强行变更，你可以向劳动监察部门投诉或者申请劳动仲裁，维护自己的合法权益。
- 不过，如果单位变更工作地点是出于生产经营的合理需要，并且采取了一些合理的弥补措施，如提供交通补贴、住宿等，以减轻因工作地点变更给你带来的不便，而你仍然拒绝，那么单位可能会以你严重违反单位规章制度为由解除劳动合同，且在这种情况下可能无需支付经济补偿。但这需要单位有明确的规章制度，并且该规章制度经过了民主程序制定并已向你公示。