结论前置：在孩子父亲服刑这一特定情况下，爷爷奶奶一般不可以直接起诉孩子母亲要抚养费，除非存在父母均死亡或父母均无力抚养等特殊情形。
一、抚养责任的一般原则
根据《中华人民共和国民法典》第一千零六十七条，父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女，有要求父母给付抚养费的权利。这表明，父母是未成年子女的首要抚养义务人，应当承担抚养子女的责任。在正常情况下，爷爷奶奶并不直接承担抚养孙子女或外孙子女的义务，除非存在特殊情况。
二、爷爷奶奶起诉抚养费的特殊情形
父母均死亡：
- 如果孩子的父母均已死亡，且孩子实际由爷爷奶奶照顾抚养，那么爷爷奶奶在承担了本应由孩子父母承担的抚养费用后，有权以孩子的名义向有负担能力的其他法定抚养义务人（如孩子的外祖父母、成年兄姐等）主张抚养费。但在此案例中，孩子父亲只是服刑，并未死亡，因此这一情形不适用。
父母均无力抚养：
- 根据《中华人民共和国民法典》第一千零七十四条，有负担能力的祖父母、外祖父母，对于父母无力抚养的未成年孙子女、外孙子女，有抚养的义务。然而，这一条款的适用前提是“父母无力抚养”，且通常指的是父母因疾病、残疾、失业等原因确实无法承担抚养责任的情况。在孩子父亲服刑的情况下，虽然其暂时无法履行抚养义务，但并不意味着其完全无力抚养。此外，即使父母无力抚养，爷爷奶奶也主要是承担抚养义务，而非直接起诉要求其他亲属支付抚养费（除非他们已实际承担了抚养责任并寻求补偿）。更重要的是，此案例中仅提及孩子父亲服刑，未提及孩子母亲的情况，若孩子母亲有抚养能力，则爷爷奶奶无权直接起诉要求抚养费。
三、针对本案例的具体分析
- 在孩子父亲服刑的情况下，其抚养义务并未因此免除。若孩子母亲有抚养能力，则应由孩子母亲承担抚养责任。
- 爷爷奶奶若想主张抚养费，需证明孩子父母均已死亡或均无力抚养，且自己已实际承担了抚养责任。在此案例中，这些条件均未满足。
- 若爷爷奶奶确实承担了抚养孩子的责任，且孩子母亲有抚养能力却拒不履行抚养义务，爷爷奶奶可以尝试通过家庭协商或法律途径（如起诉孩子母亲要求其履行抚养义务，而非直接要求支付抚养费）来解决问题。但需注意，这并非直接起诉要求抚养费，而是要求孩子母亲履行其法定的抚养义务。
四、建议与注意事项
- 爷爷奶奶在面临此类情况时，应首先尝试与孩子母亲进行协商，寻求妥善解决抚养问题的方案。
- 若协商无果，且确实存在孩子母亲拒不履行抚养义务的情况，爷爷奶奶可以咨询专业法律人士（即向我咨询），了解具体的法律途径和维权策略。
- 在整个过程中，爷爷奶奶应保留好相关证据（如抚养费用的支出凭证、与孩子母亲的沟通记录等），以便在需要时提供证明。
综上所述，在孩子父亲服刑的情况下，爷爷奶奶一般不可以直接起诉孩子母亲要抚养费。若存在特殊情况或需要进一步的法律帮助，请随时向我咨询。