结论：外孙和外孙女的爸爸不直接抚养孩子，是否违法需视具体情况而定。一般来说，若其作为直接抚养人却未履行抚养义务，则可能违法；若其并非直接抚养人，则不直接涉及违法问题，但可能需承担一定的经济支持责任。
详细分析：
直接抚养人的义务：
- 如果外孙和外孙女的爸爸是孩子的直接抚养人（例如，在父母离异后，孩子由父亲直接抚养），那么他就有法律义务提供孩子的生活、教育、医疗等必要费用，并给予孩子关爱和照顾。
- 若他未履行这些义务，如拒绝支付抚养费、忽视孩子的日常生活需求等，则可能构成违法，孩子或其他监护人可以依法向法院提起诉讼，要求其履行抚养义务。
非直接抚养人的责任：
- 如果外孙和外孙女的爸爸并非孩子的直接抚养人（例如，在父母离异后，孩子由母亲直接抚养），那么他虽然不直接负责孩子的日常生活照顾，但仍有法律义务支付一定的抚养费，以支持孩子的成长。
- 若他拒绝支付抚养费，则可能构成违法，孩子的直接抚养人（如母亲）可以依法向法院提起诉讼，要求其支付抚养费。
特殊情况下的考虑：
- 在某些特殊情况下，如外孙和外孙女的爸爸因疾病、残疾、失业等原因确实无力支付抚养费，法院可能会根据具体情况减免其抚养义务。
- 另外，如果外孙和外孙女的爸爸与孩子的母亲或其他监护人就抚养问题达成了协议，且该协议不违反法律法规和公序良俗，那么双方应按照协议履行各自的义务。
法律建议：
- 如果您作为孩子的监护人或相关亲属，发现外孙和外孙女的爸爸未履行抚养义务，建议首先与其进行沟通协商，尝试解决问题。
- 若沟通无果，您可以依法向法院提起诉讼，要求其履行抚养义务或支付抚养费。在诉讼过程中，请务必提供充分的证据来支持您的主张。
- 同时，您也可以考虑咨询专业的法律人士或机构，以获取更具体的法律建议和帮助。
可能法律后果：
- 若外孙和外孙女的爸爸被法院判决履行抚养义务或支付抚养费而拒不执行，法院可能会采取强制执行措施，如冻结其银行账户、查封其财产等。
- 在严重情况下，若其行为构成遗弃罪等刑事犯罪，还可能面临刑事处罚。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。