结论前置：您有权拒绝公司单方面调离远程办公的安排，但具体是否可行需结合劳动合同、公司规章制度及调岗合理性综合判断。以下从法律角度为您详细分析：

一、劳动合同约定是核心依据

1. 若劳动合同明确约定远程办公
   根据《劳动合同法》第35条，变更工作地点属于劳动合同内容的重大变更，需双方协商一致并书面确认。若合同中明确约定您的工作模式为远程办公，公司单方面要求您返回线下办公，属于违约行为，您有权拒绝。

2. 若劳动合同未明确约定办公模式
   若合同仅约定“根据公司安排工作”，公司可能主张调岗属于合理管理权。但根据《劳动合同法》第3条，用人单位与劳动者应遵循“平等自愿、协商一致”原则，您仍可要求公司说明调岗的必要性及合理性。

二、公司调岗的合理性审查

即使合同未明确约定远程办公，公司调岗也需满足以下条件，否则可能构成违法调岗：

1. 生产经营需要
   公司需证明调岗是因业务调整、项目变更等客观原因，而非主观随意安排。例如，因疫情结束公司恢复线下办公，或您所在岗位需团队协作无法远程完成。

2. 不降低劳动条件
   调岗后您的工资、福利、职位等不得显著降低。若公司以调岗为由降薪或增加不合理考核，您可拒绝并主张权益。

3. 不具有侮辱性或惩罚性
   若调岗明显针对您个人（如将您调至偏远地点或与专业无关的岗位），可能被认定为违法调岗，您可拒绝并申请劳动仲裁。

三、您的应对建议

1. 书面拒绝并保留证据
   若公司口头要求您返回线下办公，您应通过邮件、微信等书面方式回复，明确表示拒绝并说明理由（如合同约定、家庭困难等），同时保留沟通记录作为证据。

2. 要求公司出具书面调岗通知
   若公司坚持调岗，您可要求其出具加盖公章的书面通知，明确调岗原因、时间、地点及薪资变化。若公司拒绝出具，可能涉嫌违法调岗。

3. 申请劳动仲裁
   若公司以您拒绝调岗为由解除劳动合同，您可向当地劳动仲裁委员会申请仲裁，主张违法解除赔偿金（2N）或继续履行合同。根据《劳动合同法》第48条，用人单位违法解除劳动合同的，劳动者可要求支付赔偿金或恢复劳动关系。

四、特殊情形提示

• 疫情等特殊时期：若因疫情等不可抗力导致公司临时调整办公模式，您需配合公司安排，但公司应在疫情结束后恢复原办公模式。
• 试用期员工：若您处于试用期，公司调岗需证明您不符合录用条件，否则您仍可拒绝。

总结：您有权拒绝公司单方面调离远程办公的安排，但需结合合同约定及调岗合理性综合判断。若公司坚持调岗且理由不充分，您可通过书面拒绝、申请劳动仲裁等方式维护权益。如有进一步疑问，可直接向我咨询具体操作流程。