借款人未按约定用途使用借款时，担保人的责任需根据保证合同的具体约定、相关法律法规以及实际情况综合判断。以下是对此问题的详细分析：
保证合同有明确约定的情况：
- 若保证合同中明确约定了借款人必须按特定用途使用借款，且担保人对此承担了保证责任，同时约定了若借款人未按借款用途使用借款，担保人不再承担保证责任或减轻保证责任，那么在这种情况下，担保人可以按照合同约定主张免责或减轻责任。例如，甲为乙向丙的借款提供保证，并明确约定若乙未将借款用于约定的生产经营用途，甲的保证责任免除。后乙将借款用于非约定用途，甲可依据该约定主张免责或减轻责任。
保证合同无明确约定的情况：
- 贷款人同意变更借款用途：如果贷款人同意借款人变更借款用途，并且担保人对此也知情并同意，那么担保人仍需承担保证责任。但若贷款人未经担保人同意擅自变更借款用途，且此变更增加了担保人的风险，担保人可能主张免责或减轻责任，不过这需要担保人承担举证责任。
- 贷款人不知情借款人改变借款用途：若借款人擅自改变借款用途，且此行为增加了担保人的担保风险，超出了担保人提供保证时的预期，担保人可主张不再承担保证责任。因为担保人提供保证是基于对借款用途及风险的评估，擅自改变用途导致风险增加对担保人不公平。例如，D为E向F的借款提供保证，约定借款用于购买原材料，但E将借款用于高风险投资，D可主张免责，但需承担举证责任。
- 担保人的抗辩权：担保人可根据法律规定和合同约定提出抗辩。如证明借款人未按约定用途使用借款是出于欺诈或恶意，且担保人对此并不知情也无法控制，则可主张免责或减轻责任。
法律法规的相关规定：
- 在某些情况下，即使保证合同中没有明确约定，但根据相关法律法规的规定，担保人也可能需要对借款人未按约定用途使用借款的行为承担一定的责任。例如，根据《最高人民法院关于适用〈中华人民共和国民法典〉有关担保制度的解释》的相关规定，如果主合同当事人协议以新贷偿还旧贷，且新贷与旧贷的担保人不同，或旧贷无担保新贷有担保，除非债权人有证据证明新贷的担保人知道或应当知道以新贷偿还旧贷的事实，否则新贷的担保人不承担担保责任。虽然这一条款直接针对的是以新贷还旧贷的情况，但它也体现了法律对担保人权益的保护，即担保人的责任应基于其知情和同意的范围。
建议：
- 为避免未来纠纷和风险，建议在签订借款合同和保证合同时，务必明确约定借款用途、担保人的责任范围以及违约责任等关键条款。
- 若出现借款人未按约定用途使用借款的情况，担保人应及时与贷款人沟通，了解借款用途变更的具体情况，并评估自身风险。
- 若担保人认为自身权益受到侵害，应及时收集证据，并通过法律途径维护自身权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。