结论：孩子爸不管孩子，孩子由爷爷奶奶带，不一定能直接告其遗弃罪，是否构成遗弃罪需根据具体情况判断。以下从不同角度为你详细分析：

一、遗弃罪的认定条件

遗弃罪是指对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的行为。针对你描述的情况，我们可以从以下几个方面进行详细分析：

1. 扶养义务：

   • 孩子父亲作为直系亲属，对未成年子女负有法定的抚养义务。这是基于《民法典》等相关法律所规定的父母对子女的法定职责。

2. 拒绝扶养的表现：

   • 拒绝扶养具体表现为不提供基本的生活保障，如长期不支付抚养费、不提供住所、不照顾孩子的基本生活起居等。
   • 如果孩子父亲只是暂时因工作、经济等原因无法亲自照顾孩子，但仍然通过支付抚养费、定期探望等方式履行抚养义务，那么一般不认定为拒绝扶养。

3. 情节恶劣的判定：

   • 情节恶劣是判定是否构成遗弃罪的关键。通常包括因遗弃致使被害人重伤、死亡；被害人因被遗弃而生活无着，流离失所，被迫沿街乞讨；因遗弃而使被害人走投无路被迫自杀；行为人屡经教育，拒绝改正而使被害人的生活陷入危难境地等情况。
   • 如果孩子父亲只是偶尔疏忽或因临时困难无法充分履行抚养义务，且没有造成严重后果，那么一般不认定为情节恶劣。

二、孩子由爷爷奶奶带的具体情况分析

1. 不构成遗弃罪的情形：

   • 如果孩子父亲虽然无法亲自照顾孩子，但仍然承担抚养责任，如支付抚养费、定期探望、关注孩子的生活和成长等，那么这种安排并不构成遗弃罪。
   • 爷爷奶奶作为孩子的祖父母，在孩子父母无法亲自照顾时，愿意并有能力代为照顾孩子，这是一种家庭内部的互助行为，不构成遗弃罪。

2. 可能构成遗弃罪的情形：

   • 如果孩子父亲将孩子丢给爷爷奶奶后，长期不管不顾，不提供任何经济支持，也不关心孩子的生活和成长，导致孩子生活陷入困境，如因缺乏经济支持而无法治病、面临生存危机等，那么这种行为可能构成遗弃罪。
   • 如果孩子父亲有能力抚养但故意不抚养，或将孩子置于危险境地（如明知爷爷奶奶无法妥善照顾仍坚持留下），且情节恶劣，那么也可能构成遗弃罪。

三、实际处理方式

1. 未达到遗弃罪标准的情况：

   • 如果孩子父亲的行为尚未达到遗弃罪的标准，但确实没有充分履行抚养义务，你可以作为孩子的监护人，通过民事诉讼的方式要求孩子父亲支付抚养费并履行抚养责任。
   • 在诉讼过程中，你可以提供相关证据，如孩子的生活费用支出记录、孩子父亲的收入证明、孩子父亲未履行抚养义务的证据等，以支持你的诉求。

2. 达到遗弃罪标准的情况：

   • 如果孩子父亲的行为已经构成遗弃罪，你可以向公安机关报案，由公安机关进行侦查，之后移送检察院提起公诉，依法追究其刑事责任。
   • 在报案时，你需要提供相关证据，如孩子的生活状况证明、孩子父亲未履行抚养义务的证据、孩子因遗弃而受到伤害的证据等，以支持你的报案。

四、建议与提醒

1. 保留证据：

   • 在处理此类问题时，保留相关证据至关重要。你可以保存孩子的生活费用支出记录、孩子父亲的收入证明、通信记录、照片或视频等证据，以证明孩子父亲未履行抚养义务或构成遗弃罪的事实。

2. 寻求法律帮助：

   • 如果你在处理此类问题时遇到困难或不确定如何操作，可以随时向我咨询。我会根据你的具体情况提供专业的法律建议和帮助。

3. 关注孩子的心理健康：

   • 在处理此类问题时，除了关注孩子的物质生活外，还要关注孩子的心理健康。你可以与孩子进行沟通，了解他们的感受和需求，必要时可以寻求心理咨询师的帮助。

总之，孩子爸不管孩子，孩子由爷爷奶奶带，并不一定构成遗弃罪。是否构成遗弃罪需根据具体情况判断。如果你在处理此类问题时遇到困难或不确定如何操作，可以随时向我咨询。