在父亲在世时建楼，死亡后孙子接手的情况下，您作为子女，通常没有权利要回所谓的“继承权”，因为孙子在特定情况下才有继承权，即代位继承。下面我根据相关法律条款进行详细分析：

一. 法定继承顺序与代位继承

1. 法定继承顺序：根据《中华人民共和国民法典》第一千一百二十七条，遗产首先由第一顺序继承人（配偶、子女、父母）继承，没有第一顺序继承人时，才由第二顺序继承人（兄弟姐妹、祖父母、外祖父母）继承。
2. 代位继承：根据《中华人民共和国民法典》第一千一百二十八条，若被继承人的子女（即您的父亲）先于被继承人（即您的爷爷）死亡，那么由被继承人的子女的直系晚辈血亲（即您的孙子）代位继承。这意味着，只有在您的父亲先于您的爷爷死亡时，您的孙子才有权代位继承您父亲的份额。

二. 您的情况分析

• 在您描述的情况下，是您的父亲在世时建楼，然后死亡，孙子接手。这里并没有提到您的父亲是在您的爷爷之前死亡，因此，正常的法定继承顺序应该适用。
• 作为子女，您本身就是第一顺序的继承人，在您的父亲去世后，您有权继承他的遗产，包括他生前所建的楼房。
• 您的孙子在正常情况下并没有直接的继承权，除非您的父亲先于您的爷爷去世，且您已经去世，此时您的孙子才能代位继承您应继承的份额。

三. 结论与建议

• 结论：基于上述分析，您作为子女，在父亲去世后，有权继承他的遗产，包括楼房。您的孙子在正常情况下并没有继承权，除非发生代位继承的情况。
• 建议：如果您对遗产继承有具体疑问或需要处理相关事务，建议咨询专业律师或法律机构，以确保您的权益得到妥善保护。如有进一步需要，您可以继续咨询我。