借款人没按规定用途使用贷款，担保人不一定可以免除责任，需根据具体情况来判断。以下从不同角度进行分析：
一、合同约定与担保责任
合同明确贷款用途：如果借款合同中清晰规定了贷款的特定用途，且借款人未能按照既定的用途行使该贷款权利，导致债权人的债款无法回收或回收面临更大风险，那么担保人有可能在某种程度上被减轻甚至完全免除其所承担的担保责任。这是因为借款人的行为违反了合同约定，增加了债权人的风险，担保人因此可能获得法律上的豁免。
担保人是否知晓贷款用途不符：在考虑担保人是否能免责时，还需进一步考量担保人在提供担保之时，是否已经明确知晓或者应当意识到贷款用途与约定不符的事实。如果担保人不知情，且没有过错，那么其免责的可能性会增大。
二、担保人的责任类型
连带责任保证：根据《中华人民共和国民法典》的相关规定，当事人在保证合同中约定保证人和债务人对债务承担连带责任的，为连带责任保证。在连带责任保证中，债务人不履行到期债务或者发生当事人约定的情形时，债权人可以请求债务人履行债务，也可以请求保证人在其保证范围内承担保证责任。因此，如果担保人承担的是连带责任保证，且借款人未按约定用途使用贷款，担保人仍可能需要承担保证责任，除非存在法定免责事由。
一般保证：如果保证合同中没有约定或者约定不明确保证方式，则按照一般保证承担保证责任。在一般保证中，债权人需先向债务人追偿，只有在债务人不能履行债务时，保证人才承担保证责任。然而，即使是一般保证，如果借款人未按约定用途使用贷款导致债权人损失扩大，担保人也可能因未尽到监督义务而承担一定的责任。
三、特殊情况下的免责
借款人擅自改变借款用途：如果借款人未经担保人同意，擅自改变借款用途，而出借人已在保证合同中明确承诺监督借款人专款专用，且未尽监督义务而造成借款被挪作他用的情况，则保证人可以免除保证责任。这是因为出借人未履行其监督义务，导致借款被挪用，增加了债权人的风险，而担保人对此并无过错。
贷款用途不真实且构成骗贷：若贷款用途存在差异且在特定情境中可能被视为欺诈性的贷款行为，此举则属于违法行为。如果借贷人在申请贷款过程中蓄意隐瞒其实际用途，或者提供虚假的用途信息，从而获得贷款资金用以进行未获批准或非法的活动，那么这种行为无疑违反了贷款合同中的约定以及相关的法律法规。在这种情况下，担保人如果能够证明自己对骗贷行为并不知情，且没有过错，那么其免责的可能性会增大。
四、法律建议
审查合同条款：担保人在提供担保前，应仔细审查借款合同中的条款，特别是关于贷款用途的约定。如果发现合同中存在不明确或不利于自己的条款，应及时与出借人和借款人协商修改。
监督贷款使用：如果可能的话，担保人可以要求出借人在贷款发放后对贷款的使用情况进行监督，并确保贷款按照约定的用途使用。这有助于降低担保人的风险。
及时采取法律措施：如果发现借款人未按约定用途使用贷款，担保人应及时采取法律措施，如要求借款人提前还款、向法院提起诉讼等，以维护自己的合法权益。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，为你提供专业、全面的法律建议。