结论：一般情况下，剩下的利息不可以不还，但存在特殊情形可能无需偿还全部剩余利息。 以下是具体情况分析：
- 正常贷款合同情形
- 利息约定合法有效：在信用社与借款人签订的贷款合同中，利息的约定只要符合法律法规的规定，就是合法有效的。根据《中华人民共和国民法典》第六百七十四条规定，借款人应当按照约定的期限支付利息。信用社按照合同约定收取利息是其合法的权利，借款人按照约定支付利息是其应尽的义务。
- 已还利息与剩余利息的关系：即使借款人已经偿还了五万多的利息，但这并不意味着后续的利息就可以不还。只要贷款合同尚未履行完毕，借款人就需要按照合同约定继续支付剩余的利息，直到贷款本金和利息全部清偿完毕。如果借款人不按照约定支付剩余利息，信用社有权采取合法的措施来维护自己的权益，比如向法院提起诉讼，要求借款人偿还剩余的利息和可能产生的逾期利息、违约金等。
- 特殊情形
- 利息约定违法：如果信用社与借款人约定的利息超过了法律规定的上限，即超过了合同成立时一年期贷款市场报价利率四倍的，超过部分的利息是不受法律保护的。根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，民间借贷中，借贷双方约定的利率超过合同成立时一年期贷款市场报价利率四倍的，超过部分的利息约定无效。虽然信用社贷款不完全等同于民间借贷，但在利息保护方面也有类似的限制。如果借款人发现利息约定违法，对于超过法定上限部分的利息，可以拒绝支付，并且已经支付的超过部分，还可以要求信用社返还。
- 存在重大误解或欺诈等情形：如果借款人在签订贷款合同时，存在重大误解，比如对利息的计算方式、还款期限等重要条款理解错误；或者信用社存在欺诈、胁迫等行为，导致借款人签订了不公平的贷款合同。在这种情况下，借款人可以根据《中华人民共和国民法典》的相关规定，请求人民法院或者仲裁机构撤销该贷款合同。合同被撤销后，借款人只需要返还贷款本金，对于已经支付的利息，如果超过了本金部分，也可以要求信用社返还，自然也就不需要再支付剩余的利息。不过，借款人需要承担举证责任，证明存在重大误解或欺诈等情形。
如果你在信用社贷款过程中遇到了相关问题，或者对利息计算、合同条款等方面有疑问，都可以直接向我咨询。