您有权拒绝公司的调岗安排，但需根据具体情况判断拒绝的合理性及后续应对措施。以下从不同角度为您详细分析：
一、法律层面：调岗的合法性判断
根据《劳动合同法》第三十五条，用人单位与劳动者协商一致，可以变更劳动合同约定的内容，包括工作岗位。这意味着，若公司未经您同意单方面调岗，原则上属于违法行为，您有权拒绝。
然而，若公司调岗具备合理性（如原岗位因客观原因无法继续存在、调岗后工资待遇与原岗位相当、调岗不具有侮辱性或惩罚性等），且公司能提供充分证据证明调岗的必要性，则调岗可能被认定为合法。但在此案例中，您因家庭特殊情况（小孩有缺陷不能自理）需要照顾，这构成了您拒绝调岗的合理事由。
二、实际操作层面：如何应对公司调岗
与公司沟通：
- 首先，建议您与公司进行坦诚沟通，说明家庭情况，表达您无法接受调岗的意愿。
- 沟通时，可提出替代方案，如申请弹性工作制、远程办公等，以平衡工作与家庭责任。
收集证据：
- 若公司坚持调岗，您需收集相关证据，如调岗通知、劳动合同、工资条、家庭情况证明（如医院诊断证明、社区证明等），以备后续维权之需。
拒绝调岗并等待公司反应：
- 若您明确拒绝调岗，且公司未采取进一步行动（如解除劳动合同），则您可继续在原岗位工作。
- 若公司因此解除劳动合同，则可能构成违法解除，您有权要求公司支付赔偿金。
申请劳动仲裁：
- 若与公司协商无果，您可向当地劳动仲裁委员会申请劳动仲裁，要求确认公司调岗行为违法，并恢复原岗位或支付赔偿金。
三、特殊情况考虑：家庭责任与工作平衡
- 家庭责任：您因家庭特殊情况需要照顾小孩，这是您的合法权益。在劳动争议中，家庭责任可作为您拒绝不合理调岗的合理事由。
- 工作平衡：建议您在拒绝调岗的同时，积极与公司探讨工作平衡方案，如调整工作时间、工作地点或工作任务等，以减轻家庭负担。
四、法律后果提示
- 若公司调岗合法且您拒绝：公司可能以您不服从工作安排为由解除劳动合同，但需支付经济补偿金（非赔偿金）。然而，在此案例中，因您家庭情况特殊，公司调岗的合理性可能受到质疑。
- 若公司调岗违法且您拒绝：公司无权因此解除劳动合同。若公司违法解除，您有权要求公司支付赔偿金（经济补偿金的两倍）。
总结与建议：您有权因家庭特殊情况拒绝公司的不合理调岗安排。建议先与公司沟通协商，提出替代方案；若协商无果，可收集证据并申请劳动仲裁。如有进一步疑问或需要法律帮助，请直接向我咨询。