结论：您是有可能拿回孩子爸爸赔偿金中被爷爷奶奶拿走的部分的，但具体能否拿回以及拿回的金额，需要结合实际情况，通过法律途径来确定。

分析说明：

1. 赔偿金的性质：

   • 孩子爸爸的赔偿金，通常属于其遗产的一部分（如果赔偿金是在其去世后获得的，且未明确指定受益人）。根据《中华人民共和国民法典》的相关规定，遗产是公民死亡时遗留的个人合法财产，包括公民的收入、房屋、储蓄和生活用品等，赔偿金若属于因孩子爸爸死亡而获得的补偿，应纳入遗产范畴。

2. 遗产的继承：

   • 遗产的继承，首先应当遵循遗嘱继承，如果没有遗嘱，则按照法定继承办理。法定继承中，第一顺序继承人包括配偶、子女、父母。因此，您、您的孩子以及孩子爸爸的父母（即爷爷奶奶）都是第一顺序继承人，有权继承遗产。

3. 您可能拿回赔偿金的情况：

   • 协商分割：您可以与爷爷奶奶进行协商，尝试达成一个双方都能接受的赔偿金分割协议。这种方式最为平和，也最能体现家庭成员之间的相互理解和尊重。
   • 法律诉讼：如果协商无果，您可以向人民法院提起诉讼，要求分割遗产。在诉讼过程中，法院会根据各继承人的实际情况、与被继承人的亲疏关系、对被继承人的赡养情况等因素，来综合判断并确定各继承人的继承份额。

4. 需要注意的问题：

   • 证据收集：在提起诉讼前，您需要收集相关证据，如赔偿金的支付凭证、孩子爸爸的死亡证明、您与孩子爸爸的婚姻关系证明、您与孩子的身份关系证明等，以证明您有权继承遗产。
   • 诉讼时效：根据《中华人民共和国民法典》的规定，继承权纠纷提起诉讼的期限为三年，自继承人知道或者应当知道其权利被侵犯之日起计算。因此，您需要尽快采取行动，以免超过诉讼时效而丧失胜诉权。

行动建议：

• 尝试协商：首先，您可以尝试与爷爷奶奶进行协商，看是否能够达成一个双方都能接受的赔偿金分割协议。
• 咨询律师：如果协商无果，或者您对法律程序不熟悉，建议您咨询专业律师（即我，唐章富律师，专注于婚姻家庭领域），以获取更具体的法律建议和帮助。
• 提起诉讼：在律师的指导下，您可以向人民法院提起诉讼，要求分割遗产。在诉讼过程中，您需要积极配合律师的工作，提供必要的证据和材料。

后续思考：

• 在处理此类家庭财产纠纷时，除了法律途径外，还可以考虑通过家庭调解、社区调解等方式来解决争议，以维护家庭关系的和谐与稳定。
• 如果赔偿金中包含了特定用途的费用（如孩子的抚养费、教育费等），您可以在诉讼中提出相应的主张，要求法院在分割遗产时予以考虑。