结论：贷款人未按贷款合同用途使用借款时，担保人的责任是否免除需视具体情况而定，可能存在担保人仍需承担责任、担保人可免除责任或担保人责任减轻等多种情况。
分析：
当贷款人未按贷款合同用途使用借款时，担保人的责任问题并非一概而论，而是需要根据具体情况进行判断。以下是从不同角度对担保人责任问题的分析：
借款人未经担保人同意擅自修改贷款用途：
- 在此情况下，担保人对该项贷款的担保责任通常无法豁免。因为担保人同意担保时，是基于对贷款用途、还款能力等综合因素的考量。若借款人擅自改变贷款用途，可能增加了还款风险，但担保人并未对此表示同意，因此其担保责任不应因此免除。
出借方未履行监督责任导致贷款被挪用：
- 如果出借方在合同中明确承诺会对借款人是否按规定用途使用贷款进行有效监管，并且因出借方未能履行监督责任使得贷款被挪作他用，那么担保人在此情况下可以拒绝承担担保责任。因为出借方的监督责任是其合同义务之一，未能履行该义务导致贷款风险增加，不应由担保人承担不利后果。
出借人和借款人协商调整贷款用途且未经担保人同意：
- 倘若未经担保人同意，出借人和借款人双方通过协商方式调整贷款用途，或者有足够的证据证实在调整贷款用途方面出借人和借款人具有共同的意愿，那么在此情况下，担保人可能无需承担担保责任。因为担保人并未参与贷款用途的调整，且调整可能未经其同意，因此其担保责任应相应减轻或免除。但需注意，这一原则可能因具体合同条款和司法实践而有所不同。
第三人承诺监督但未充分履行职责：
- 如果第三人（非担保人）向出借方承诺会进行严格监督以确保贷款用于指定用途，然而在履行了敦促还款的义务之后，则不应再承担任何责任。但若由于第三人没有充分履行监督职责而导致借款损失，则其应对亏损的借款负有补充赔偿责任。这一原则主要适用于第三人监督的情况，与担保人的直接责任有所不同，但可作为理解担保人责任的一个参考角度。
建议：
- 担保人角度：在决定提供担保前，担保人应认真审视合同条款，特别是关于贷款用途、监督责任和担保责任等方面的规定。同时，可以要求在合同中明确约定若借款人擅自改变贷款用途时担保人的责任免除条款，以最大程度地保障自己的利益。
- 出借方角度：出借方应严格履行合同中的监督责任，确保贷款按约定用途使用。若发现借款人擅自改变贷款用途，应及时采取措施防止风险扩大，并通知担保人。
- 借款人角度：借款人应严格按照贷款合同约定的用途使用借款，不得擅自改变。若需调整贷款用途，应事先征得出借方和担保人的同意，并签订相关补充协议。
法律后果：
若因贷款人未按贷款合同用途使用借款而导致担保人承担了不应承担的责任，担保人可以通过法律途径向贷款人追偿。同时，出借方也可能因未履行监督责任而承担相应的法律责任。因此，各方应严格遵守合同约定和法律规定，共同维护金融市场的稳定和秩序。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。