结论：是否构成遗弃，不能仅凭“不管精神病弟弟”这一行为简单判断，需要结合具体情节和法律规定来综合认定。
分析如下：
遗弃罪的构成要件：
- 根据《中华人民共和国刑法》的相关规定，遗弃罪是指对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的行为。
- 构成遗弃罪需要满足几个关键要素：一是存在扶养义务；二是拒绝扶养；三是情节恶劣。
关于扶养义务：
- 兄弟姐妹之间，在特定情况下（如父母已经死亡或者无力抚养）可能存在扶养义务。这种义务通常基于法律的规定或家庭关系的实际情况。
- 如果精神病弟弟确实没有独立生活能力，且你作为兄弟姐妹在法律上或事实上负有扶养义务，那么拒绝扶养可能构成遗弃罪的前提。
关于拒绝扶养：
- “不管”精神病弟弟，如果表现为不提供生活必需品、不给予必要的照顾、不支付医疗费用等拒绝扶养的行为，且这种行为是持续的、故意的，那么可能符合拒绝扶养的要件。
关于情节恶劣：
- 情节恶劣是遗弃罪成立的重要条件之一。它通常指的是拒绝扶养的行为导致了被扶养人遭受严重的身体或精神伤害，或者造成了其他严重的后果。
- 如果“不管”精神病弟弟的行为导致了其病情恶化、生活陷入困境或者产生了其他严重的后果，那么可能构成情节恶劣。
法律建议：
- 如果你确实存在扶养精神病弟弟的义务，并且你的“不管”行为符合拒绝扶养且情节恶劣的要件，那么你可能面临遗弃罪的刑事责任。
- 我建议你尽快评估自己的行为是否构成遗弃罪，并考虑采取积极的措施来履行扶养义务，如提供生活必需品、给予必要的照顾、支付医疗费用等。
- 如果你对扶养义务或遗弃罪的构成要件存在疑问，或者需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况提供专业的法律意见。
可能后果：
- 如果构成遗弃罪，你可能面临刑事处罚，包括有期徒刑、拘役或者管制等。
- 除了刑事责任外，你还可能面临民事赔偿责任，如赔偿因拒绝扶养而给弟弟造成的损失等。
总之，是否构成遗弃罪需要综合考虑多个因素，包括扶养义务的存在、拒绝扶养的行为以及情节的恶劣程度等。如果你对自己的行为是否构成遗弃罪存在疑问，建议尽快咨询专业律师以获取准确的法律意见。