结论：在合同明确规定工作地点固定的情况下，您拒绝公司出差的要求通常是合理的，但具体还需结合合同条款、公司规章制度以及实际情况进行综合判断。
分析如下：
合同条款的约束力：
- 劳动合同或劳务合同是双方意思表示一致的产物，具有法律约束力。若合同中明确规定了工作地点为固定地点，那么公司单方面要求您出差，实际上是对合同条款的变更。
- 根据《中华人民共和国劳动合同法》的相关规定，变更劳动合同应当遵循平等自愿、协商一致的原则，且应当采用书面形式。因此，公司未经您同意，单方面要求出差，可能构成违约。
家庭因素的考量：
- 您提到家里有孩子需要照顾，这是合理的个人生活需求。在劳动法中，劳动者享有休息休假的权利，同时也有权在合理范围内照顾家庭。
- 如果出差要求严重影响了您照顾家庭的责任，您可以与公司进行沟通，说明情况，寻求合理的解决方案，如调整出差时间、安排远程工作等。
公司规章制度与实际情况：
- 除了合同条款外，还需考虑公司的规章制度。如果公司规章制度中有关于出差的明确规定，且这些规定不违反法律法规，那么您需要遵守。
- 但同时，公司也应考虑员工的实际情况，如家庭状况、健康状况等，合理安排工作任务。如果公司无视您的合理诉求，强行要求出差，您有权提出异议。
可能的法律后果：
- 如果您拒绝出差，公司可能会采取一些措施，如扣发工资、解除劳动合同等。但这些措施必须合法合规，不能违反劳动合同法的相关规定。
- 如果公司因此解除劳动合同，且无法证明解除行为的合法性，您有权要求公司支付经济补偿金或赔偿金。
建议：
- 与公司沟通：首先，建议您与公司进行坦诚的沟通，说明您拒绝出差的原因和家庭状况，寻求公司的理解和支持。
- 审查合同与规章制度：仔细审查劳动合同和公司规章制度中关于工作地点和出差的条款，确保自己的权益不受侵害。
- 寻求法律援助：如果公司坚持要求出差，且您认为自己的权益受到侵害，可以寻求法律援助或咨询专业律师，了解自己的法律权益和可能的维权途径。
后续行动：
- 如果您决定拒绝出差，建议以书面形式向公司表达您的意愿和理由，并保留好相关证据，以备不时之需。
- 如果公司因此对您采取不利措施，如扣发工资、解除劳动合同等，您可以及时向劳动监察部门投诉或提起劳动仲裁，维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。