担保人想要解除担保责任，确实不能直接通过起诉债权人来实现，但可以根据具体情况，通过多种合法途径来减轻或免除担保责任。以下是对此问题的详细解答：

一、与债权人协商解除担保合同

方式：担保人可以主动与债权人进行友好协商，尝试达成书面协议来解除原有的担保合同。

条件：这通常需要债权人的明确同意，并可能需要担保人提供新的担保措施或证明原担保已无必要等条件。

效果：一旦双方达成一致并签订解除协议，担保关系即告终止，担保人将不再承担担保责任。

二、通过法律程序主张免责事由

情形：如果担保人能够证明存在法律规定的免责事由，如主债权已经消灭、担保物权已经实现、债权人明确放弃担保权利等，可以向法院申请免除担保责任。

证据要求：担保人需要提供充分的证据来证明这些免责事由的存在，例如债务已清偿的证明、担保物已被处置且价款已用于偿还债务的证据等。

法律后果：若法院认定免责事由成立，将判决担保人无需再承担担保责任。

三、在特定情况下请求法院变更或撤销担保合同

可撤销情形：如果担保合同是在欺诈、胁迫等违背担保人真实意愿的情况下签订的，担保人可以在法定期限内向法院或仲裁机构请求变更或撤销该担保合同。

法律程序：担保人需向法院提起诉讼，并提供相关证据证明合同签订时存在上述违法情形。

结果：若法院支持其请求，担保合同将被变更或撤销，担保人从而摆脱担保责任。

四、保证期间届满或主合同变更未经同意

保证期间届满：对于一般保证，如果债权人在保证期间内未对债务人提起诉讼或申请仲裁，保证人将免除保证责任。对于连带责任保证，债权人应在保证期间内要求保证人承担保证责任，否则保证人同样不再承担保证责任。

主合同变更未经同意：如果债权人与债务人未经担保人书面同意，对主合同进行了实质性变更（如改变借款金额、还款期限等），且这种变更增加了担保风险，担保人对加重的部分不承担担保责任。

五、担保合同无效

当担保合同本身因违反法律法规的强制性规定、存在欺诈、胁迫等法定无效情形时，担保合同自始无效，担保人无需承担担保责任。

六、履行担保义务后向债务人追偿

如果无法通过以上方式取消担保责任，且债务人未能按时履行还款义务导致担保人承担了担保责任，担保人可以在承担责任后依法向债务人追偿。追偿范围包括代偿的本金、利息以及因代偿而产生的其他合理费用。

操作建议

由于解除担保责任涉及复杂的法律关系和具体的合同条款，建议担保人在实际操作前咨询专业律师，以确保其权益得到充分保护并符合相关法律法规的要求。律师可以根据担保人的具体情况，提供个性化的法律建议和解决方案。