结论：一般情况下，男方不给抚养费，不可以起诉孩子的爷爷奶奶一起给抚养费。但在特定情况下，如果爷爷奶奶实际承担了抚养义务，可能存在一定争议空间，不过从法律常规角度和主流实践来看，起诉爷爷奶奶要求支付抚养费缺乏明确法律依据。

常规法律角度分析

根据我国法律规定，父母对未成年子女有抚养教育的义务。父母不履行抚养义务时，未成年的或不能独立生活的子女，有要求父母付给抚养费的权利。这里明确规定了承担抚养费义务的主体是父母，而不是祖父母、外祖父母。所以，在男方（孩子的父亲）不给抚养费时，从法律常规规定来讲，不能直接起诉孩子的爷爷奶奶要求他们支付抚养费。

例如，小明的父母离婚，父亲拒绝支付抚养费，小明只能向父亲主张权利，而不能直接将爷爷奶奶列为被告要求支付抚养费，因为爷爷奶奶本身没有法定的直接支付抚养费的义务。

特殊情况探讨

虽然法律明确父母是抚养义务主体，但在现实生活中存在一些特殊情况。如果爷爷奶奶实际承担了抚养孙子女或外孙子女的义务，比如父母均无力抚养（例如父母双亡、父母均丧失劳动能力且无经济来源等），或者父母均怠于履行抚养义务且爷爷奶奶自愿承担了抚养责任并实际抚养了一段时间。在这种情况下，从情理和公平角度出发，可能会存在一定的争议空间。

然而，即便存在上述特殊情况，从法律程序和实体规定上，要起诉爷爷奶奶要求支付抚养费仍然面临诸多困难。因为法律并没有明确赋予在这种情况下孙子女或外孙子女直接起诉祖父母或外祖父母要求支付抚养费的权利。而且，在实际司法实践中，法院对于此类案件的审理也会非常谨慎，需要综合考虑各种因素，如爷爷奶奶的经济状况、实际抚养情况等。

法律建议

如果遇到男方不给抚养费的情况，正确的做法是先尝试与男方进行协商，通过沟通解决问题，要求其履行支付抚养费的义务。如果协商不成，可以向男方所在单位、居民委员会、村民委员会等组织寻求帮助，通过这些组织的调解促使男方支付抚养费。若调解也无法解决问题，可以向人民法院提起诉讼，要求男方支付拖欠的抚养费以及后续应支付的抚养费。在诉讼过程中，要准备好相关证据，如离婚协议、判决书等证明男方有支付抚养费义务的文件，以及男方未支付抚养费的证据，如转账记录、聊天记录等。

总之，在男方不给抚养费的情况下，起诉孩子爷爷奶奶要求支付抚养费缺乏明确的法律依据和常规实践支持。如果遇到此类问题，建议及时向我咨询，我会根据具体情况为你提供更详细、准确的法律建议。