借款人未按约定用途使用借款时，担保人的责任需根据保证合同的具体约定、相关法律法规以及实际情况综合判断，不能直接判定担保人免责。以下从不同角度为您详细分析：
一、保证合同有明确约定的情况
若保证合同中明确约定了借款人必须按特定用途使用借款，且担保人对此承担了保证责任，同时约定了若借款人未按借款用途使用借款，担保人不再承担保证责任或减轻保证责任，那么在这种情况下，担保人可以按照合同约定主张免责或减轻责任。例如，甲为乙向丙的借款提供保证，并明确约定若乙未将借款用于约定的生产经营用途，甲的保证责任免除。后乙将借款用于非约定用途，甲即可依据该约定主张免责或减轻责任。
二、保证合同无明确约定的情况
贷款人同意变更借款用途：
- 根据《最高人民法院关于适用〈中华人民共和国民法典〉有关担保制度的解释》的相关规定，若主合同当事人协议以新贷偿还旧贷，且新贷与旧贷的担保人不同，或旧贷无担保新贷有担保，除非债权人有证据证明新贷的担保人知道或应当知道以新贷偿还旧贷的事实，否则新贷的担保人不承担担保责任。虽然这一条款直接针对的是新贷偿还旧贷的情况，但其原理同样适用于借款人擅自改变借款用途且贷款人同意的情形。即，如果贷款人同意借款人改变借款用途，且这种改变增加了担保人的风险，而担保人对此并不知情也无法控制，那么担保人可能可以主张免责或减轻责任。不过，这需要具体案件具体分析，不能一概而论。
贷款人不知情借款人改变借款用途：
- 若借款人擅自改变借款用途，且此行为增加了担保人的担保风险，超出了担保人提供保证时的预期，担保人可主张不再承担保证责任。因为担保人提供保证是基于对借款用途及风险的评估，擅自改变用途导致风险增加对担保人不公平。例如，D为E向F的借款提供保证，约定借款用于购买原材料，但E将借款用于高风险投资，D在不知情且无法控制的情况下，可主张免责，但需承担举证责任，证明自己确实不知情且无法控制借款用途的改变。
担保人的抗辩权：
- 担保人可根据法律规定和合同约定提出抗辩。如证明借款人未按约定用途使用借款是出于欺诈或恶意，且担保人对此并不知情也无法控制，则可主张免责或减轻责任。这要求担保人能够提供充分的证据来支持自己的主张。
三、法律法规的相关规定与考量
在某些情况下，即使保证合同中没有明确约定，但根据相关法律法规的规定，担保人也可能需要对借款人未按约定用途使用借款的行为承担一定的责任。这取决于具体的法律条文和司法解释，以及法院对案件的具体判断。因此，在处理此类案件时，需要仔细研究相关法律法规和司法解释，并结合案件的具体情况进行综合分析。
四、总结与建议
- 签订合同时明确约定：为避免未来纠纷和风险，建议在签订借款合同和保证合同时，务必明确约定借款用途、担保人的责任范围以及违约责任等关键条款。这样可以在发生争议时，有明确的合同依据来支持自己的主张。
- 及时沟通与协商：如果借款人确实需要改变借款用途，建议及时与贷款人和担保人进行沟通与协商，并取得他们的同意。同时，可以签订补充协议来明确新的借款用途和担保人的责任范围。
- 保留证据：在借款过程中，建议保留好所有与借款用途、担保责任等相关的证据材料。这样可以在发生争议时，提供充分的证据来支持自己的主张。
如果您在处理此类案件时遇到任何疑问或需要进一步的法律帮助，请随时向我咨询。