侄子无权继续居住爷爷的房子，应当搬离。针对这一问题，我们可以从以下几个方面进行分析：

一. 遗嘱的法律效力

1. 遗嘱的优先性：根据《继承法》第五条，继承开始后，按照法定继承办理；有遗嘱的，按照遗嘱继承或者遗赠办理。在这个案例中，爷爷已经通过遗嘱将房子指定给小儿子继承，因此，小儿子是房子的合法继承人。
2. 遗嘱的执行：遗嘱一旦生效，其他继承人（包括侄子）应当尊重并执行。侄子并不是遗嘱中指定的继承人，因此没有权利继续居住在房子里。

二. 侄子的居住权问题

1. 无居住权：侄子并非房子的继承人，也没有其他法律上的依据（如租赁合同、居住权协议等）来支持他继续居住在房子里。因此，侄子无权占据房子不搬走。
2. 应搬离：在侄子无权居住的情况下，他应当主动搬离房子，将房子交还给合法的继承人小儿子。

三. 解决方案

1. 协商：首先可以尝试与侄子进行协商，明确告知他遗嘱的内容和自己的权利，希望他能够主动搬离。
2. 法律途径：如果协商无果，小儿子可以通过法律途径来维护自己的权益。例如，可以向法院提起诉讼，要求侄子搬离房子并赔偿因此造成的损失。

我的观点：侄子无权继续居住在爷爷通过遗嘱指定给小儿子的房子里，应当尽快搬离。如果侄子拒绝搬离，小儿子可以采取法律手段来维护自己的合法权益。如有进一步需要，您可以继续咨询我。