结论：工人是否可以不去B公司工作，取决于A公司与B公司之间的具体约定以及劳动关系的实际履行情况。以下从不同角度进行分析：
如果A公司与B公司之间存在劳务派遣或类似安排：
- 在这种情况下，A公司作为劳务派遣单位，与工人建立劳动关系，并将工人派遣至B公司工作。根据《劳动合同法》的相关规定，劳务派遣单位应当与被派遣劳动者订立二年以上的固定期限劳动合同，并按照规定支付劳动报酬、缴纳社会保险费等。同时，被派遣劳动者应当遵守用工单位（即B公司）的规章制度，按照用工单位的要求完成工作任务。
- 如果工人拒绝前往B公司工作，可能构成违约。因为工人与A公司之间的劳动合同中可能明确约定了派遣至B公司工作的条款，工人拒绝履行可能违反劳动合同约定，需要承担相应的违约责任。但具体责任需根据劳动合同的约定以及实际情况来判断。
如果A公司与B公司之间不存在劳务派遣关系，而是A公司承包了B公司的部分业务，并安排工人前往B公司工作：
- 在这种情况下，工人与A公司之间的劳动关系不受影响，但工作地点的变更可能涉及劳动合同的变更。根据《劳动合同法》的规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容，包括工作地点。
- 如果A公司未经与工人协商一致，单方面要求工人前往B公司工作，工人有权拒绝。因为工作地点的变更属于劳动合同的重大变更，需要双方协商一致。如果A公司因此解除与工人的劳动合同，可能构成违法解除，需要承担相应的法律责任。
如果工人与A公司之间的劳动合同中明确约定了工作地点为B公司，或者工人已经实际在B公司工作一段时间且未提出异议：
- 在这种情况下，可以视为工人已经接受了在B公司工作的安排。如果工人之后拒绝前往B公司工作，可能构成违约或违反规章制度，需要承担相应的责任。
法律建议：
- 工人应仔细审查与A公司之间的劳动合同，了解其中关于工作地点的约定以及变更劳动合同的程序。
- 如果A公司要求工人前往B公司工作，工人应与A公司进行协商，明确工作地点的变更是否合法、合理，并要求A公司提供相应的补偿或保障措施。
- 如果工人认为A公司的要求违反了劳动合同的约定或法律法规的规定，可以向劳动监察部门投诉或申请劳动仲裁，维护自己的合法权益。
可能后果：
- 如果工人拒绝前往B公司工作且构成违约，可能需要承担违约责任，如支付违约金、赔偿损失等。
- 如果A公司因此解除与工人的劳动合同且构成违法解除，工人有权要求A公司支付赔偿金或继续履行劳动合同。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。