结论前置：
- 若老板的行为构成违法解除，工人有权拒绝并要求继续履行合同或获得赔偿。
- 若老板的行为不构成违法解除，但工人认为工作环境或待遇不佳，可考虑离职并依法主张权益。
- 建议工人先与老板沟通，了解真实意图，并保留相关证据。
详细分析：
首先，我们需要明确的是，老板叫工人“走人”两次，这一行为本身并不直接决定工人是否应该走。关键在于老板的行为是否合法，以及工人的权益是否受到了侵害。
一、老板行为是否合法：
违法解除的情况：
- 根据《劳动合同法》的相关规定，用人单位解除劳动合同应当符合法定条件，并遵循法定程序。如果老板没有合法理由，或者未按照法定程序解除劳动合同，那么这一行为就是违法的。
- 在这种情况下，工人有权拒绝离职，并可以要求用人单位继续履行劳动合同，或者要求用人单位支付赔偿金（通常是经济补偿金的两倍）。
合法解除或调整的情况：
- 如果老板是因为工人存在严重违反公司规章制度、不能胜任工作且经过培训或调岗后仍不能胜任、客观情况发生重大变化导致合同无法履行等合法理由而解除劳动合同，那么这一行为就是合法的。
- 但即使如此，老板也应当遵循法定程序，如提前通知、支付经济补偿金等。如果老板未遵循这些程序，工人仍然可以主张相应的权益。
- 另外，如果老板只是希望调整工人的工作岗位或工作内容，而并非直接解除劳动合同，那么工人应当根据实际情况考虑是否接受调整。
二、工人应如何应对：
与老板沟通：
- 在面对老板叫“走人”的情况时，工人首先应当与老板进行沟通，了解老板的真实意图和背后的原因。
- 通过沟通，工人可以更好地判断老板的行为是否合法，以及自己是否应该接受离职的要求。
保留相关证据：
- 无论老板的行为是否合法，工人都应当保留相关证据，如解除劳动合同的通知、工资单、考勤记录等。
- 这些证据在后续可能发生的劳动争议中起着至关重要的作用。
依法主张权益：
- 如果工人认为老板的行为违法，或者自己的权益受到了侵害，那么可以依法向劳动争议仲裁委员会申请仲裁，或者向人民法院提起诉讼。
- 在主张权益的过程中，工人应当提供充分的证据来支持自己的主张。
三、特殊情况考虑：
- 如果工人认为即使老板的行为不构成违法解除，但工作环境、待遇等方面已经无法满足自己的需求，那么也可以考虑主动离职。
- 在这种情况下，工人应当确保自己已经履行了劳动合同中的义务，并依法获得了应得的权益（如经济补偿金等）。
最后建议：面对老板叫“走人”的情况，工人应当保持冷静和理性，先与老板进行沟通了解真实情况，并保留好相关证据。如果认为自己的权益受到了侵害，可以依法主张权益。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。