结论：在养父养母去世且存在残疾哥哥的情况下，遗产的归属需根据具体情况来确定，主要涉及法定继承的顺序和份额分配问题。以下从不同角度进行分析：

一、法定继承顺序

根据《中华人民共和国民法典》的相关规定，遗产继承首先遵循法定继承顺序。在没有遗嘱或遗赠扶养协议的情况下，遗产将按照法定继承顺序进行分配。

1. 第一顺序继承人：包括配偶、子女、父母。在此案例中，养父养母已去世，因此他们不再是继承人。而子女，包括养子女，均属于第一顺序继承人。所以，你和你的残疾哥哥作为养子女，均享有继承权。

2. 第二顺序继承人：包括兄弟姐妹、祖父母、外祖父母。在第一顺序继承人存在的情况下，第二顺序继承人不参与继承。因此，除非你和你的哥哥都没有继承能力（如都已去世），否则第二顺序继承人不会继承遗产。

二、继承份额分配

在确定了继承顺序后，接下来需要确定的是继承份额的分配。这主要取决于继承人的数量和各自的情况。

1. 均等分配原则：在一般情况下，同一顺序的继承人继承遗产的份额应当均等。这意味着，如果你和你的哥哥都是第一顺序继承人，且没有其他特殊情况，那么你们将平分养父养母的遗产。

2. 特殊情况下的分配：

   • 生活有特殊困难又缺乏劳动能力的继承人：根据《民法典》的规定，对生活有特殊困难又缺乏劳动能力的继承人，分配遗产时应当予以照顾。在此案例中，你的哥哥是残疾人，可能属于生活有特殊困难且缺乏劳动能力的情况。因此，在分配遗产时，可能会给予他更多的份额。
   • 对被继承人尽了主要扶养义务的继承人：如果某个继承人对被继承人尽了主要扶养义务，分配遗产时也可以多分。这主要取决于实际情况，如是否长期照顾养父养母等。

三、实际操作建议

1. 了解遗产情况：首先，你需要了解养父养母的遗产具体包括哪些财产，如房产、存款、车辆等。这有助于你确定继承的范围和价值。

2. 协商分配：在了解了遗产情况后，你可以与你的哥哥进行协商，尝试达成一个双方都能接受的分配方案。这可以避免不必要的法律纠纷和家庭矛盾。

3. 寻求法律帮助：如果协商不成，或者你对遗产分配有疑问或争议，建议寻求专业的法律帮助。我可以根据你的具体情况，为你提供详细的法律建议和指导，帮助你维护自己的合法权益。

最后，遗产分配是一个复杂而敏感的问题，需要综合考虑多种因素。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。我会根据你的具体情况，为你提供专业、全面的法律服务。