文化和旅游局在特定情况下确实有权要求旅行社退还赔偿游客不合理费用。以下从不同角度为你详细分析：
法律依据与监管职责
文化和旅游局作为旅游行业的监管部门，其职责之一就是维护旅游市场的秩序，保护游客的合法权益。根据《中华人民共和国旅游法》等相关法律法规，旅行社在提供旅游服务过程中，应当遵循公平、公正、诚实信用的原则，不得损害游客的合法权益。如果旅行社收取了不合理的费用，或者存在欺诈、胁迫等违法行为，文化和旅游局有权进行调查，并要求旅行社退还这些不合理费用，甚至对旅行社进行行政处罚。
具体情形分析
费用不合理且违反法律法规：
- 如果旅行社收取的费用明显高于市场合理水平，或者违反了相关法律法规的规定（如强制购物、自费项目等），文化和旅游局在查实后，有权要求旅行社退还这些费用。
旅行社存在欺诈或胁迫行为：
- 如果旅行社在提供服务过程中存在欺诈、胁迫等违法行为，导致游客支付了不合理的费用，文化和旅游局不仅有权要求旅行社退还费用，还可以对旅行社进行严厉的行政处罚，甚至吊销其旅游业务经营许可证。
游客投诉并经查实：
- 如果游客向文化和旅游局投诉旅行社收取了不合理费用，并且经过调查核实，确实存在这种情况，文化和旅游局有权要求旅行社退还费用，并可能对旅行社进行相应的处罚。
实际操作中的注意事项
- 证据收集：游客在投诉时，应尽可能提供相关的证据，如合同、发票、照片、视频等，以证明旅行社收取了不合理费用。
- 投诉渠道：游客可以通过文化和旅游局的官方网站、投诉热线等渠道进行投诉，也可以向当地的消费者协会或其他相关部门反映情况。
- 法律程序：如果旅行社拒绝退还费用，或者游客对文化和旅游局的处理结果不满意，游客还可以通过法律途径来维护自己的权益，如向法院提起诉讼。
旅行社的应对策略
对于旅行社而言，为了避免被文化和旅游局要求退还赔偿游客不合理费用，应当：
- 遵守法律法规：严格遵守《中华人民共和国旅游法》等相关法律法规的规定，不收取不合理费用，不进行欺诈或胁迫行为。
- 透明定价：在提供旅游服务前，应向游客明确告知各项费用的标准和用途，确保游客对费用有充分的了解。
- 积极处理投诉：如果游客对费用有异议或投诉，旅行社应积极与游客沟通协商，寻求合理的解决方案。
如果你或他人遇到了类似的问题，或者对旅游合同、旅游纠纷等方面有疑问，可以直接向我咨询，我会为你提供专业的法律建议和帮助。