贷款用途与实际不符，担保人不一定能取消担保责任。具体分析如下：

一. 贷款用途不符的影响

1. 若借款合同中明确规定了贷款的特定用途，且借款人未能按照既定的用途使用贷款，导致债权人的债权回收困难或风险增加，担保人有可能在一定程度上被减轻甚至完全免除担保责任。但这需要进一步的法律评估和判断。
2. 借款用途的变更属于借款人的自主行为，出借人未参与协商，不属于借贷双方私自协商变更主合同的情况。在这种情况下，保证人仍需对债权人承担保证责任。

二. 担保责任的免除情况

1. 明确约定与监督义务：如果借款人在未经担保人同意的情况下改变借款用途，且出借人已在保证合同中明确承诺监督借款人专款专用，并因未尽监督义务而导致借款被挪作他用，担保人可以免除其保证责任。
2. 法律评估与判断：担保人是否能免除担保责任，还需根据具体情况进行深入的法律评估和判断，包括担保人在提供担保时是否知晓或应当知晓贷款用途不符等事实。

三. 相关法律依据

• 《中华人民共和国民法典》第六百八十二条：保证合同是主债权债务合同的从合同。主债权债务合同无效的，保证合同无效，但是法律另有规定的除外。
• 《中华人民共和国民法典》第六百八十八条：当事人在保证合同中约定保证人和债务人对债务承担连带责任的，为连带责任保证。连带责任保证的债务人不履行到期债务或者发生当事人约定的情形时，债权人可以请求债务人履行债务，也可以请求保证人在其保证范围内承担保证责任。

我建议，如你作为担保人面临贷款用途与实际不符的情况，应尽快咨询专业律师，进行详细的法律评估和判断，以确定是否能免除或减轻担保责任。同时，在未来的担保活动中，应更加谨慎地审查借款合同和贷款用途，以降低潜在的法律风险。如有进一步需要，您可以继续咨询我。