结论：借款人与实际用途不符时，担保人解除担保的责任大小取决于多种因素，包括担保合同的具体条款、担保人是否知情、是否尽到审查义务以及是否存在欺诈等情形。以下从不同角度进行详细分析：

一、担保合同的具体条款

1. 明确约定用途：如果担保合同中明确约定了借款的具体用途，且借款人擅自改变了用途，这可能构成对担保合同的违约。在此情况下，担保人可以根据合同条款主张免除或部分免除担保责任，尤其是当改变用途增加了担保风险时。

2. 未明确约定用途：如果担保合同中未明确约定借款的具体用途，那么借款人改变用途可能不直接构成对担保合同的违约。此时，担保人解除担保的责任将相对较小，但并非完全无责，还需考虑其他因素。

二、担保人是否知情

1. 担保人知情：如果担保人在提供担保时已知悉借款人将改变借款用途，且未提出异议或采取相应措施，那么担保人可能难以主张免除担保责任。因为知情并同意改变用途，可视为担保人接受了增加的风险。

2. 担保人不知情：如果担保人在提供担保时并不知悉借款人将改变借款用途，且该改变用途增加了担保风险，那么担保人可以根据相关法律法规和合同条款主张免除或部分免除担保责任。

三、担保人是否尽到审查义务

1. 尽到审查义务：担保人在提供担保前，有义务对借款人的信用状况、借款用途等进行审查。如果担保人尽到了审查义务，且在审查过程中未发现借款人将改变用途的迹象，那么担保人可能更容易主张免除或部分免除担保责任。

2. 未尽到审查义务：如果担保人未尽到审查义务，或者审查过程中存在疏忽，导致未能发现借款人将改变用途的迹象，那么担保人可能难以主张免除担保责任。因为未尽到审查义务，可视为担保人存在一定的过错。

四、是否存在欺诈等情形

1. 存在欺诈：如果借款人通过欺诈手段使担保人提供担保，且该欺诈行为与借款人改变用途有关，那么担保人可以根据相关法律法规主张免除担保责任。因为欺诈行为破坏了担保合同的合法性和有效性。

2. 不存在欺诈：如果借款人改变用途的行为并不构成欺诈，那么担保人解除担保的责任将取决于上述其他因素的综合考量。

法律建议与风险提示

• 审查合同条款：担保人在提供担保前，应仔细审查担保合同的具体条款，特别是关于借款用途的约定。
• 尽到审查义务：担保人应尽到对借款人的信用状况、借款用途等的审查义务，以降低担保风险。
• 及时主张权利：如果担保人发现借款人擅自改变借款用途，且该改变增加了担保风险，应及时与借款人沟通并主张权利，必要时可寻求法律途径解决。
• 保留证据：担保人在提供担保过程中，应保留好相关证据，如审查记录、沟通记录等，以备不时之需。

举例说明：假设担保合同中明确约定了借款用于购买原材料，但借款人擅自将借款用于偿还债务。如果担保人在提供担保时并不知悉这一改变，且尽到了审查义务，那么担保人可以根据合同条款和相关法律法规主张免除或部分免除担保责任。但如果担保人知情且未提出异议，或者未尽到审查义务，那么担保人可能难以主张免除担保责任。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。