结论：弟弟不抚养哥哥的孩子，在一般情况下并不构成违法，但在特定法定情形下，若弟弟有负担能力且符合相关条件，则可能需承担抚养义务。
详细分析：
一般情况下的抚养义务：
- 根据法律规定，父母对未成年子女负有法定的抚养义务。对于兄弟姐妹之间，除非存在特定情形，否则法律上并没有明确的强制性抚养义务。因此，在一般情况下，弟弟对哥哥的孩子没有法定的抚养责任。
特定情形下的抚养义务：
- 依据《中华人民共和国民法典》第一千零七十五条，当父母已经死亡或者父母无力抚养未成年子女时，有负担能力的兄、姐需承担扶养义务。这一条款虽然直接针对的是兄姐对弟妹的抚养义务，但同理可推，若哥哥因某种原因（如死亡、无力抚养）无法抚养其未成年子女，且弟弟具备负担能力，那么在特定情况下，弟弟也可能需承担一定的抚养责任。不过，这种情况较为特殊，需要具体分析家庭情况、经济能力、抚养意愿等多方面因素。
- 需要注意的是，这种抚养义务并非绝对，而是基于特定条件和负担能力。如果弟弟自身经济困难或无力抚养，则不构成违法。
道德和伦理层面的考量：
- 虽然法律上没有强制要求弟弟抚养哥哥的孩子，但从家庭和亲情的角度出发，兄弟姐妹间应相互扶持和帮助。特别是在哥哥无法履行抚养义务时，弟弟若条件允许，出于道义和家庭责任感，可能会选择照顾哥哥的孩子。
法律建议：
- 如果哥哥因特殊原因无法抚养其未成年子女，且弟弟具备负担能力，建议双方先进行协商，看是否能够达成抚养协议。
- 若协商不成，且弟弟确实具备抚养条件和能力，哥哥或相关监护人可以考虑通过法律途径（如起诉）要求弟弟承担抚养义务。但需注意，这并非绝对，法院会综合考虑多种因素来做出判决。
- 在任何情况下，都应优先考虑孩子的利益和福祉，确保他们能够得到妥善的照顾和抚养。
可能后果：
- 如果弟弟在特定法定情形下拒绝抚养哥哥的孩子，且被法院认定具备抚养条件和能力，那么弟弟可能会面临法律责任，如被要求支付抚养费等。
- 若弟弟确实无力抚养或不符合法定抚养条件，则拒绝抚养不会构成违法。
如有更多关于婚姻家庭领域的法律问题，可以直接向我咨询。