结论：是否需要归还借弟弟的钱，取决于弟弟是否明确表示放弃债权以及该表示是否具有法律效力。以下从不同角度进行分析：
一、弟弟明确表示不用还，且该表示具有法律效力
弟弟作为完全民事行为能力人，明确表示放弃债权：
- 如果弟弟是具有完全民事行为能力的成年人，他有权自由处分自己的财产，包括放弃对借款人的债权。
- 在这种情况下，如果弟弟以书面形式或其他能够证明其真实意思表示的方式（如录音、录像等）明确表示不用你还钱，那么这一表示具有法律效力。
- 你无需再归还这笔借款，因为弟弟已经放弃了他的债权。
弟弟的表示构成赠与：
- 如果弟弟在表示不用你还钱的同时，明确表达了将这笔钱赠与你的意思，那么这一行为构成赠与。
- 根据《中华人民共和国民法典》的相关规定，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。
- 在这种情况下，你无需归还借款，因为借款已经转化为赠与财产。
二、弟弟的表示不具有法律效力或存在争议
弟弟的表示存在瑕疵：
- 如果弟弟在表示不用你还钱时，存在意思表示不真实、受到欺诈或胁迫等情形，那么这一表示可能不具有法律效力。
- 在这种情况下，如果弟弟事后反悔或提出异议，你可能仍然需要归还借款。
弟弟的表示未明确放弃债权：
- 如果弟弟只是口头表示不用你还钱，但没有明确表示放弃债权或赠与财产，那么这一表示可能不够明确，容易引发争议。
- 在这种情况下，如果弟弟事后要求你还款，你可能需要提供证据证明弟弟确实表示过不用你还钱，否则可能面临还款责任。
涉及家庭共同财产或特殊情形：
- 如果借款涉及家庭共同财产或存在其他特殊情形（如弟弟未成年、无民事行为能力或限制民事行为能力等），那么弟弟的表示可能受到法律限制或需要经过法定程序才能生效。
- 在这种情况下，是否需要归还借款可能需要根据具体法律条款和案件事实进行判断。
三、建议与注意事项
保留证据：
- 无论弟弟是否表示不用你还钱，你都应该保留好借款的相关证据（如借条、转账记录等），以备不时之需。
- 如果弟弟表示不用你还钱，最好要求他出具书面声明或进行录音、录像等，以证明其真实意思表示。
谨慎处理：
- 在处理此类问题时，你应该谨慎对待弟弟的表示，不要轻易相信口头承诺或未经证实的消息。
- 如果可能的话，可以咨询专业律师的意见，以确保自己的权益得到保障。
考虑家庭关系：
- 在处理借款问题时，你还应该考虑家庭关系的影响。如果因为借款问题导致家庭关系紧张或破裂，那么可能得不偿失。
- 因此，在处理此类问题时，你应该尽量保持冷静和理性，寻求妥善的解决方案。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。