关于“疲劳驾驶谁的卡处理谁吗”这个问题，首先我们需要明确的是，疲劳驾驶的认定和处理并不单纯依赖于“谁的卡”，而是基于实际的驾驶行为和驾驶时长。

从您提供的参考信息中，我们可以了解到，公安部发布的《机动车驾驶人疲劳驾驶认定规则》中明确指出，疲劳驾驶的认定是通过时间、状态及背景调查综合判定的。具体来说，如果机动车驾驶人连续驾驶机动车超过4小时未停车休息，或者停车休息时间少于20分钟，就会被认定为疲劳驾驶。这一规定是针对驾驶行为本身，而不是针对驾驶人持有的卡片或记录。

在实际操作中，交通管理部门会通过提取车载终端或监控平台的行驶记录数据、询问或讯问机动车驾驶人、询问证人、调取视频证据卡口监控等方式，来确定机动车驾驶人的连续驾驶时间、停车休息时间和累计驾驶时间。如果发现驾驶人存在疲劳驾驶的行为，就会依法进行处罚，无论这张卡是谁的。

以您提到的案例为例，货车司机廖某虽然持有两张北斗车载记录仪驾驶员信息卡，并试图通过“换卡不换人”的方式逃避检查，但最终还是被交通管理部门查获，并因其疲劳驾驶的行为受到了罚款和驾驶证记分的处罚。这说明，交通管理部门在处理疲劳驾驶时，关注的是实际的驾驶行为，而不是卡片本身。

因此，对于“疲劳驾驶谁的卡处理谁吗”这个问题，答案是：不是根据谁的卡来处理，而是根据实际的驾驶行为和驾驶时长来认定和处理疲劳驾驶。希望这个解答能够帮助您更好地理解疲劳驾驶的认定和处理原则。