当第一顺序继承人和第二顺序继承人都没有了，遗产的处理方式主要遵循以下法律规定：

结论前置：若第一顺序继承人（配偶、子女、父母）和第二顺序继承人（兄弟姐妹、祖父母、外祖父母）均不存在，遗产通常归国家所有，用于公益事业；若被继承人生前是集体所有制组织成员，则遗产归所在集体所有制组织所有。但在特殊情况下，对被继承人扶养较多、缺乏劳动能力且无生活来源的人，可能分得部分遗产。

详细分析：

1. 法定继承顺序：

   • 第一顺序继承人包括配偶、子女、父母。
   • 第二顺序继承人包括兄弟姐妹、祖父母、外祖父母。
   • 在没有第一顺序继承人或者第一顺序继承人放弃继承等情形下，由第二顺序继承人继承。

2. 无人继承又无人受遗赠的情况：

   • 当第一顺序和第二顺序继承人都不存在时，且没有遗嘱或遗赠协议指定遗产归属，遗产将被认定为无人继承又无人受遗赠。
   • 此时，遗产归国家所有，用于公益事业；若被继承人生前是集体所有制组织成员，则归所在集体所有制组织所有。

3. 特殊情况下的处理：

   • 对被继承人扶养较多、缺乏劳动能力且无生活来源的人，在特殊情形下可以分得部分遗产，以确保其基本生活需求。

4. 债务与税务问题：

   • 在处理遗产时，还需清偿被继承人所欠的债务，并依法缴纳相关税费。

综上所述，当第一顺序继承人和第二顺序继承人都没有了，遗产将根据国家法律规定进行处理，通常归国家所有用于公益事业，或归被继承人生前所在的集体所有制组织所有。但在特殊情况下，也会考虑对被继承人扶养较多、缺乏劳动能力且无生活来源的人的分配。如有任何疑问或需要进一步的法律咨询，请直接向我提问。