结论：借款人当时口头给担保人说不用担保，事后担保人给借款人打电话的录音，在符合一定条件下，是可以作为证据使用的，但具体能否免除担保责任还需结合其他证据和事实综合判断。
分析说明：
录音证据的合法性：
- 根据《中华人民共和国民事诉讼法》及相关司法解释，录音作为证据，只要其取得方式合法，内容真实，且与案件事实有关联，就可以作为认定案件事实的依据。
- 在此情况下，担保人给借款人打电话的录音，如果是在双方自愿、平等、公平的基础上进行，且没有侵犯他人的合法权益（如隐私权等），那么该录音是合法的，可以作为证据使用。
录音证据的内容：
- 录音中需要明确体现出借款人确实表示过“不用担保”的意思表示。这是判断担保人能否免除担保责任的关键。
- 如果录音内容模糊、不明确，或者存在其他解释的可能性，那么该录音证据的证明力就会减弱。
其他证据的佐证：
- 除了录音证据外，还需要考虑其他证据的存在和证明力。例如，是否有书面协议、证人证言等能够佐证借款人的口头表示。
- 如果只有录音证据，而没有其他证据的佐证，那么法院在认定事实时可能会更加谨慎。
担保责任的免除：
- 即使录音证据合法且内容明确，也并不意味着担保人一定能够免除担保责任。因为担保责任的免除还需要考虑其他因素，如担保合同的约定、担保人的过错程度等。
- 如果担保合同中明确约定了担保责任不能因借款人的口头表示而免除，或者担保人在提供担保时存在过错（如明知借款人无还款能力而提供担保等），那么担保人可能仍然需要承担担保责任。
行动建议：
- 收集并保存证据：担保人应尽可能收集并保存与案件事实相关的所有证据，包括录音、书面协议、证人证言等。
- 咨询专业律师：由于法律问题的复杂性和专业性，担保人在处理此类纠纷时，建议咨询专业律师的意见。律师可以根据具体情况，为担保人提供法律分析和建议，帮助担保人更好地维护自己的合法权益。
- 考虑和解或调解：在诉讼前或诉讼过程中，担保人可以考虑与借款人进行和解或调解。通过协商达成一致意见，可以节省时间和精力，避免不必要的法律纠纷。
后续思考：
- 在处理此类纠纷时，担保人应充分认识到证据的重要性。除了录音证据外，还应尽可能收集其他证据来佐证自己的主张。
- 同时，担保人也应了解担保合同的相关条款和法律规定，以便在提供担保时能够更好地保护自己的权益。如果遇到复杂的法律问题或纠纷，应及时咨询专业律师的意见。