当旅行社不按照行程走时，游客的权益确实会受到损害，此时旅行社将面临一系列的法律责任和处罚。以下是对此问题的详细解答：
一、旅行社的法律责任
违约责任：
- 根据《中华人民共和国旅游法》第七十条，旅行社不履行包价旅游合同义务或履行合同义务不符合约定的，应当依法承担继续履行、采取补救措施或者赔偿损失等违约责任。
- 同时，《中华人民共和国民法典》及相关法律法规也对旅行社的责任和义务有明确规定，不按行程走显然属于违约行为。
赔偿责任：
- 旅行社需要赔偿游客因行程变更导致的实际损失，如交通费用、住宿费用、景点门票等。若行程变更导致游客需要重新预订酒店且费用增加，差价部分也应由旅行社赔偿。
- 在特定情况下，如游客因旅行社违约错过重要纪念活动造成严重精神损害，可以主张精神损害赔偿。
- 若旅行社具备履行条件但拒绝履行合同，并造成严重后果（如旅游者人身损害、滞留等），游客可以要求旅行社支付旅游费用一倍以上三倍以下的赔偿金。
二、旅行社的处罚措施
行政处罚：
- 根据《中华人民共和国旅游法》第一百条，旅行社在旅游行程中擅自变更旅游行程安排，严重损害旅游者权益的，由旅游主管部门责令改正，并处以三万元以上三十万元以下的罚款，同时责令停业整顿。
- 若造成旅游者滞留等严重后果，将吊销旅行社业务经营许可证。对直接负责的主管人员和其他直接责任人员，也将处以二千元以上二万元以下的罚款，并暂扣或者吊销导游证。
管辖与程序：
- 国家旅游局负责查处在全国范围内有重大影响的案件，而省、自治区、直辖市旅游主管部门则负责查处本地区内重大、复杂的案件。
- 吊销旅行社业务经营许可证、导游证等行政处罚，通常由设区的市级以上旅游主管部门作出。
- 在处罚过程中，旅游主管部门会遵循立案、调查、审查、告知、决定和送达等一系列程序，确保处罚的公正性和合法性。
三、游客的维权途径
- 协商解决：游客应首先尝试与旅行社进行友好协商，指出其违约之处，并要求采取补救措施或赔偿损失。
- 投诉调解：若协商无果，游客可以向当地的消费者协会、旅游质量监督管理部门或文化和旅游局投诉，请求调解。
- 法律诉讼：若通过上述途径无法解决问题或损失较大，游客可以向有管辖权的人民法院提起诉讼。在诉讼过程中，游客需提供充分的证据来支持自己的赔偿主张。
四、注意事项
- 游客在维权过程中应保留好所有相关证据（如旅游合同、行程单、发票、照片、视频等）。
- 在签订旅游合同时，应仔细阅读合同条款特别是关于行程安排、违约责任和赔偿方式的条款。
- 若涉及精神损害赔偿或惩罚性赔偿等复杂问题，建议咨询专业律师以获取更详细的法律意见和帮助。
综上所述，当旅行社不按照行程走时，游客应依法维护自己的权益要求旅行社承担相应的违约责任并进行赔偿。同时旅游主管部门也会依法对旅行社进行处罚以确保旅游市场的秩序和游客的合法权益。