结论：调岗通知发出三天后，第四天公司单方解除劳动合同的生效时间，并非固定为第四天，而是取决于公司解除劳动合同的合法性及通知送达员工的具体时间。若公司解除劳动合同合法且通知已有效送达员工，则解除行为自通知送达员工时生效。
分析说明：
解除劳动合同的合法性：
- 公司单方解除劳动合同必须符合法律规定的情形，如员工严重违反公司规章制度、严重失职给公司造成重大损害、被依法追究刑事责任等。若公司无法证明解除劳动合同的合法性，则可能构成违法解除，需要承担相应的法律责任。
- 在调岗通知发出后，若员工拒绝调岗且公司无法证明调岗的合理性及员工拒绝调岗的违法性，公司单方解除劳动合同可能被视为违法解除。
通知送达员工的时间：
- 解除劳动合同的通知必须有效送达员工才能产生法律效力。通知送达的方式可以是书面送达、电子邮件送达、短信送达等，但必须确保员工能够实际收到并知晓通知内容。
- 若公司在第四天发出解除劳动合同的通知，但通知并未有效送达员工（如员工未签收书面通知、未查看电子邮件或短信等），则解除行为尚未生效。
生效时间的确定：
- 若公司解除劳动合同合法且通知已有效送达员工，则解除行为自通知送达员工时生效。此时，员工与公司之间的劳动关系即行终止。
- 若公司解除劳动合同违法或通知未有效送达员工，则解除行为不生效。员工有权要求公司继续履行劳动合同或支付违法解除劳动合同的赔偿金。
法律建议：
- 对于公司而言，在单方解除劳动合同前，应确保解除行为的合法性，并妥善保存相关证据。同时，应确保解除劳动合同的通知有效送达员工，以避免产生不必要的法律纠纷。
- 对于员工而言，若收到公司的解除劳动合同通知，应仔细审查通知内容及公司解除劳动合同的合法性。若认为公司解除行为违法或通知未有效送达，应及时向公司提出异议或寻求法律援助。
可能后果：
- 若公司违法解除劳动合同或通知未有效送达员工，可能面临支付赔偿金、继续履行劳动合同等法律责任。
- 若员工对公司解除劳动合同的行为有异议，可能通过劳动仲裁或诉讼等途径维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。