结论：担保人是否有权向您追偿已还的利息，主要取决于您与大哥之间的约定以及担保人在还款时的具体行为性质。以下从不同角度为您详细分析：
一、从您与大哥的约定角度分析
如果您与大哥明确约定由大哥承担全部贷款本息：
- 在这种情况下，您作为名义借款人，实际上并不承担还款责任。大哥让担保人还了利息，这本质上是大哥与担保人之间的约定或行为。
- 担保人无权直接向您追偿已还的利息，因为您并非实际还款义务人。担保人应向大哥主张其还款行为所产生的权利或利益。
如果您与大哥未明确约定还款责任，或约定由您承担部分还款责任：
- 若约定不明确或您需承担部分还款责任，而担保人代您偿还了利息，则担保人有权根据相关法律规定或双方约定向您追偿。
- 此时，您需根据与大哥的约定以及担保人的还款情况，确定是否应向担保人支付相应款项。
二、从担保人还款行为的性质角度分析
如果担保人还款是自愿行为，且未与您或大哥达成追偿协议：
- 担保人自愿偿还利息，可能被视为对大哥的赠与或无因管理。在这种情况下，担保人通常无权直接向您追偿。
- 但若担保人能证明其还款行为是基于对您的误解或欺诈，可能有权通过法律途径寻求救济。
如果担保人还款是基于与您或大哥的追偿协议：
- 若担保人在还款前与您或大哥达成了追偿协议，明确约定了还款后的追偿权利和义务，则担保人有权根据协议向您追偿已还的利息。
- 在这种情况下，您需遵守协议约定，向担保人支付相应款项。
三、法律建议
审查相关证据：
- 建议您首先审查与大哥之间的贷款协议、还款约定以及担保人还款的相关证据，以明确各方的权利和义务。
与担保人协商：
- 在明确各方权利和义务的基础上，您可以与担保人进行协商，寻求妥善解决纠纷的方式。
寻求法律救济：
- 若协商无果，且您认为担保人的追偿请求缺乏法律依据或合理依据，您可以考虑通过法律途径维护自己的合法权益。
后续行动建议：如果您在处理此纠纷过程中遇到任何法律问题或需要进一步的法律建议，请随时向我咨询。我将根据您的具体情况，为您提供专业、全面的法律服务。