结论：父亲是否可以直接带走小孩，不能仅凭协议书上的“暂时跟母亲生活，扶养权归父”这一表述简单判断，需要结合具体情况和法律规定来分析。
分析如下：
抚养权与实际抚养的关系：
- 抚养权是法律赋予父母对子女进行抚养、教育、保护的权利和义务。即使抚养权归父亲，但实际抚养情况（即孩子与谁共同生活）可能因各种原因（如双方协商、法院判决等）而有所变化。
- 协议书中“暂时跟母亲生活”的表述，说明双方可能就孩子的实际抚养达成了一定的临时安排。这种安排并不改变抚养权的归属，但可能对孩子的实际生活环境产生影响。
父亲带走孩子的法律条件：
- 如果父亲希望改变孩子的实际抚养情况，即希望孩子从母亲处回到自己身边生活，他应当与母亲进行协商，并达成一致意见。
- 如果协商不成，父亲不能擅自强行带走孩子。他可以通过法律途径（如向法院提起诉讼）来请求变更孩子的实际抚养情况。法院会根据孩子的利益最大化原则，综合考虑双方的经济条件、生活环境、教育能力等因素，作出判决。
擅自带走孩子的法律后果：
- 如果父亲擅自强行带走孩子，可能构成对母亲抚养权的侵犯，也可能对孩子的身心健康造成不良影响。
- 母亲有权向公安机关报案或向法院提起诉讼，要求父亲返还孩子并承担相应的法律责任。
建议：
- 父亲应当尊重协议书中的约定和母亲的实际抚养情况，不要擅自强行带走孩子。
- 如果父亲希望改变孩子的实际抚养情况，应当与母亲进行协商，并尽量达成一致意见。如果协商不成，可以通过法律途径来解决争议。
- 在处理此类问题时，双方都应当以孩子的利益为出发点，尽量减少对孩子的伤害和影响。
额外提醒：
- 抚养权和实际抚养情况是两个不同的概念，需要明确区分。
- 在处理抚养纠纷时，建议双方保持冷静和理性，通过协商或法律途径来解决问题，避免采取过激行为。
如有任何进一步的疑问或需要具体的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。