当遇到第一顺位和第二顺位继承人都不存在的情况时，遗产的处理确实需要遵循一系列法律规定和原则。以下是我为您详细梳理的解答：
一、遗嘱与遗赠扶养协议的优先考量
遗赠扶养协议：首先，我们要查看被继承人生前是否签订了遗赠扶养协议。如果被继承人与某个组织或个人签订了这样的协议，并且该组织或个人已经履行了生养死葬的义务，那么遗产将首先按照这份协议来处理，归该组织或个人所有。遗赠扶养协议的效力是高于其他任何形式的遗嘱或法定继承的。
遗嘱继承或遗赠：如果被继承人没有签订遗赠扶养协议，或者协议无效，那么我们需要查看他生前是否立有合法有效的遗嘱。如果遗嘱中明确将个人财产赠与国家、集体或法定继承人以外的组织、个人，那么遗产将按照遗嘱来处理。
二、法定继承的补充作用
在遗嘱和遗赠扶养协议都不存在或无效的情况下，我们需要考虑法定继承。虽然第一顺位和第二顺位的继承人都不在世，但法律还规定了其他可能的继承人，比如与被继承人有扶养关系的其他近亲属，如叔叔、姑姑、舅舅等。这体现了法律对家庭关系的尊重和保护，确保遗产不会因无人继承而浪费。
三、代位继承与转继承的特殊情况
代位继承：如果被继承人的子女或兄弟姐妹先于被继承人死亡，那么他们的直系晚辈血亲或子女可以代位继承。这意味着，即使第一顺位和第二顺位的继承人不在世，他们的子女或直系晚辈血亲仍有可能继承遗产。
转继承：如果继承开始后，某个继承人于遗产分割前死亡，且未放弃继承，那么他应继承的遗产将转给他的继承人（即转继承人）。这同样是一种特殊的继承情况，确保了遗产的连续性和合理性。
四、无人继承又无人受遗赠的最终处理
如果经过上述所有步骤后，仍然无法找到合法的继承人或受遗赠人，那么遗产将归国家所有，并用于公益事业。这是国家对公民遗产的最终处置权，也确保了遗产能够发挥其社会价值。特别地，如果被继承人生前是集体所有制组织的成员，且其遗产中包含了与该组织相关的财产或权益，那么这部分遗产应归所在集体所有制组织所有。
总结与建议：
在处理无人继承的遗产时，我们首先要尊重被继承人的意愿，按照遗赠扶养协议或遗嘱进行处理。如果没有这些文件，我们应考虑与被继承人有扶养关系的其他近亲属的继承权，以及代位继承和转继承的特殊情况。最后，在确实无人继承又无人受遗赠的情况下，遗产将归国家或集体所有制组织所有。由于遗产处理涉及复杂的法律问题，我建议您在处理此类情况时寻求专业律师的帮助，以确保您的合法权益得到妥善保护。