结论：是否合理要回借款，需根据具体情况判断，主要看是否存在有效的债权债务关系以及是否有相关证据支持。
一、若存在有效的债权债务关系且无免除债务的合法依据
法律分析：
- 民间借贷中，一旦双方达成借款合意且出借人实际交付了借款，债权债务关系即成立。即使借款人当时表示不用还，若这种表示并非基于合法有效的免除债务协议（如赠与合同需满足法定要件），则债权人的债权并不因此消灭。
- 根据《中华人民共和国民法典》的相关规定，合法的借贷关系受法律保护。债权人有权要求债务人按照约定履行还款义务。
建议：
- 若您能提供借款合同、转账记录、聊天记录等证据证明债权债务关系的存在，且没有合法有效的免除债务协议，那么您要求还款是合理的。
- 您可以先与借款人协商，要求其履行还款义务。若协商无果，您可以考虑通过法律途径解决，如向法院提起诉讼。
二、若存在有效的免除债务协议
法律分析：
- 如果借款人当时表示不用还，且这种表示是基于双方达成的合法有效的免除债务协议（如赠与合同，且已满足法定要件，如赠与财产的权利已经转移等），则债权人的债权因此消灭。
- 在这种情况下，债权人再要求还款则缺乏法律依据。
建议：
- 若您确实与借款人达成了免除债务的协议，且该协议合法有效，那么您要求还款则可能不被法律支持。
- 您可以回顾当时的协议内容，确认是否存在免除债务的明确约定。若存在，且您已接受该约定，则应尊重协议效力。
三、证据收集与法律风险
证据收集：
- 无论哪种情况，证据都是关键。您应尽可能收集与借款相关的所有证据，如借款合同、转账记录、聊天记录、录音录像等。
- 这些证据将有助于您证明债权债务关系的存在或免除债务协议的有效性。
法律风险：
- 若您在没有充分证据的情况下要求还款，可能面临败诉的风险。
- 此外，若您采取不当手段（如威胁、骚扰等）要求还款，还可能承担法律责任。
总结与建议：是否合理要回借款需根据具体情况判断。若您能提供充分证据证明债权债务关系的存在且没有合法有效的免除债务协议，那么您要求还款是合理的。反之，则可能缺乏法律依据。建议您先回顾当时的协议内容并收集相关证据，再根据实际情况决定是否要求还款。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。