结论：在一般情况下，祖父母或外祖父母确实没有法定的抚养孙子女或外孙子女的义务，不抚养通常不构成犯法。但在特定情况下，如父母死亡或无力抚养，且祖父母或外祖父母有负担能力时，他们则有抚养的义务，若此时不抚养，可能构成违法。
分析：
一般情况下的抚养义务：
- 根据我国的法律规定，父母是未成年子女的法定监护人，负有抚养、教育和保护的义务。这意味着，在正常情况下，祖父母或外祖父母并没有直接抚养孙子女或外孙子女的法律义务。
- 如果父母健在且有能力抚养子女，而祖父母或外祖父母选择不抚养，这并不构成违法行为。他们可以选择以其他方式表达对孙子女或外孙子女的关爱，如提供经济支持、情感陪伴等，但这并非法律强制要求的。
特定情况下的抚养义务：
- 然而，在特定情况下，如父母已经死亡或者父母无力抚养，且祖父母或外祖父母有负担能力时，他们则负有抚养孙子女或外孙子女的义务。这是基于家庭关系的互助和赡养原则，以及保护未成年人权益的考虑。
- 在这种情况下，如果祖父母或外祖父母拒绝抚养，且没有合理的理由（如自身经济困难、健康状况不佳等），则可能构成违法。他们可能会面临法律责任，如被要求支付抚养费或承担其他法律后果。
建议：
- 对于祖父母或外祖父母来说，如果他们有能力且愿意抚养孙子女或外孙子女，那么这是一种值得赞扬的家庭互助行为。但如果他们确实没有能力或不愿意抚养，也应该与子女进行坦诚的沟通，并寻求其他合适的解决方案，如寻求社会救助、将孩子托付给其他亲属或福利机构等。
- 对于父母来说，他们应该尽可能履行自己的抚养义务，为子女提供一个稳定、健康的成长环境。如果确实遇到困难无法抚养子女，也应该及时寻求帮助和支持，而不是将责任转嫁给年迈的父母。
后续行动：
- 如果您或您身边的人遇到了类似的抚养纠纷问题，建议首先尝试通过家庭内部的沟通和协商来解决。如果无法达成一致意见，可以考虑寻求专业的法律帮助或调解服务。
- 在处理这类问题时，请务必保持冷静和理性，尊重法律和家庭关系的原则，以寻求最佳解决方案。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。