收养弟弟的孩子但没办手续是违法的，且这样的收养关系在法律上不被认可。以下从多个角度为你详细分析：
一、法律规定层面
根据《中华人民共和国民法典》的相关规定，收养应当向县级以上人民政府民政部门登记，收养关系自登记之日起成立。这意味着，未经登记的收养关系在法律上是不成立的，不具有法律效力。因此，如果你收养了弟弟的孩子但没有办理收养手续，那么你们之间并不形成法律意义上的父母子女关系。
二、法律后果层面
法律关系不成立：由于未办理收养手续，你与孩子之间不形成法律上的父母子女关系。这可能导致在抚养、教育、财产继承等方面出现纠纷时，你的合法权益难以得到法律的有效保障。例如，如果孩子未来需要继承你的财产，由于没有合法的收养关系，他可能无法作为法定继承人享受相应的权益。
行政法律责任：无合法收养手续而收养子女的行为，可能违反《中国公民收养子女登记办法》等相关行政法规。民政部门等有权责令你改正，并可能给予相应的行政处罚。
其他潜在法律风险：在收养过程中，如果存在欺诈、胁迫等违法行为，还可能触犯刑法，构成犯罪，需要承担刑事责任。虽然这种情况较为罕见，但一旦发生，后果将非常严重。
三、特殊情况说明
值得注意的是，对于在1992年4月1日《中华人民共和国收养法》施行前，已符合收养实质要件但未办理收养手续而以养父母子女关系共同生活的情形，法律上有一定认可，可按事实收养关系对待。然而，自《收养法》施行后（现已被《民法典》替代，但原则一致），原则上都应当依法办理收养登记手续，以确保收养关系的合法性和有效性。
四、建议与结论
为了确保收养关系的合法性和有效性，保护被收养孩子的合法权益，为他们提供稳定安全的成长环境，我强烈建议你依法办理收养手续。这不仅是遵守法律的要求，也是对孩子未来负责的表现。如果你对收养手续的具体流程或要求有疑问，可以直接向我咨询，我会为你提供详细的解答和指导。