结论：根据您描述的情况，您借出一万五但对方已还五万，是否能要回多余部分，这主要取决于借款时双方是否有约定利息以及利息的合法性。以下分情况详细说明：

1. 若借款时未约定利息：

   • 根据《中华人民共和国民法典》的相关规定，自然人之间的借款合同对支付利息没有约定或者约定不明确的，视为没有利息。
   • 在此情况下，对方已经偿还的五万中，一万五是本金，剩余的三万五则属于没有法律依据的还款，理论上您应当返还这部分多余款项。
   • 计算公式：应返还金额 = 已还款总额 - 借款本金 = 50000元 - 15000元 = 35000元。

2. 若借款时约定了利息，但利息过高：

   • 如果双方约定了利息，但利息超过了法律规定的上限（目前法律保护的民间借贷利率上限为一年期贷款市场报价利率的四倍），则超出部分的利息不受法律保护。
   • 在此情况下，您需要计算合法利息部分，并确定对方已还金额中超出本金和合法利息的部分，这部分超额还款您应当返还。
   • 举例与计算：假设借款时约定年利率为24%（假设未超过当时法律规定的上限，但需根据实际借款时间确定具体上限），借款期限为一年，则合法利息为15000元 * 24% = 3600元。若对方已还五万，则应返还金额 = 已还款总额 - 借款本金 - 合法利息 = 50000元 - 15000元 - 3600元 = 31400元（但此计算基于假设的利率和期限，实际需根据具体情况调整）。然而，若实际约定的利率超过了法律保护的上限，则超出部分的利息不计入合法还款，应返还的金额会相应增加。

3. 若借款时约定的利息合法且未超过上限：

   • 如果双方约定的利息合法且未超过法律规定的上限，则对方已还的五万中，除了归还本金一万五外，剩余部分应视为归还利息和可能的部分本金（如果利息未完全覆盖已还金额与本金之差）。
   • 在此情况下，如果利息已经完全覆盖且还有剩余，则剩余部分应返还给对方；但如果利息未完全覆盖且借款期限未满，则可能视为提前还款，具体处理需根据双方约定和实际情况判断。不过，就您描述的情况而言，已还款远超本金，更可能是利息约定过高或未约定利息而多还的情况。

建议：

• 首先，回顾借款时的书面或口头协议，确认是否有约定利息以及利息的具体数额或计算方式。
• 其次，如果双方对还款金额有争议，建议收集相关证据（如借款合同、转账记录、聊天记录等）以证明借款事实和还款情况。
• 最后，如果无法自行协商解决，可以考虑通过法律途径解决争议，如向法院提起诉讼或申请仲裁。

后续行动提示：如果您需要更具体的法律建议或帮助，请直接向我咨询，我会根据您的具体情况提供更详细的解答和指导。