结论：在父母离异且孩子的父亲联系不上的情况下，一般不可以直接起诉爷爷奶奶要回抚养权，但存在特殊情况可考虑变更抚养关系或寻求其他法律救济途径。
分析说明：
抚养权的基本原则：
- 抚养权通常归属于父母双方，父母是未成年子女的法定监护人，对子女有抚养、教育和保护的义务。在父母离异的情况下，抚养权一般通过离婚协议或法院判决来确定归属。
爷爷奶奶的角色：
- 爷爷奶奶并非未成年子女的法定监护人，除非在特定情况下（如父母双亡或均丧失监护能力）被指定为监护人。因此，在一般情况下，爷爷奶奶不直接承担抚养义务，也不享有抚养权。
起诉爷爷奶奶要回抚养权的可行性：
- 由于爷爷奶奶并非抚养权的法定归属者，因此直接起诉爷爷奶奶要回抚养权在法律上通常不可行。抚养权的变更或调整应基于父母之间的协商或法院的判决，而非针对第三方（如爷爷奶奶）提起诉讼。
特殊情况下的处理：
- 如果父亲确实无法履行抚养义务（如失踪、死亡或丧失抚养能力），且母亲也无法或不愿承担抚养责任，此时可以考虑变更抚养关系。这通常需要通过法院进行，法院会综合考虑子女的利益、父母的抚养能力和条件等因素来作出判决。
- 在某些情况下，如果爷爷奶奶实际承担了抚养责任，并且具备抚养能力和条件，他们也可以向法院申请成为子女的监护人。但这需要满足一定的法律条件，并经过法院的审查和批准。
法律建议：
尝试联系父亲：
- 首先，应尽力尝试联系父亲，了解其无法履行抚养义务的具体原因和情况。如果父亲只是暂时无法联系或存在其他可解决的问题，应优先考虑通过协商或调解来解决抚养问题。
与母亲协商：
- 如果父亲确实无法履行抚养义务，应与母亲进行协商，看是否能够达成关于抚养权的协议。如果母亲愿意并能够承担抚养责任，那么可以通过协商或法院判决将抚养权变更给母亲。
寻求法律救济：
- 如果无法与父亲或母亲达成协议，或者母亲也无法承担抚养责任，此时可以考虑向法院提起诉讼，请求变更抚养关系。在诉讼过程中，应提供充分的证据证明父亲无法履行抚养义务，以及变更抚养关系对子女利益的有利性。
考虑其他监护人：
- 如果父母均无法履行抚养义务，且没有其他合适的监护人（如其他亲属），可以考虑向法院申请指定其他合适的个人或机构作为子女的监护人。
后续行动：
- 在处理此类问题时，建议咨询专业律师以获取更具体的法律建议和指导。律师可以根据具体情况提供针对性的法律方案，并协助处理相关法律程序。
- 同时，应关注子女的心理和情感需求，确保他们在抚养权变更过程中得到充分的关爱和支持。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。