能否仅凭购房合同要回给孙子的房屋，需分情况讨论：
一、若过户基于真实买卖关系且手续完备
一般情况：如果房屋过户给孙子是基于真实的买卖关系，并且所有过户手续都完备齐全，那么通常情况下，房屋是很难再要回的。这就像你把东西卖给了别人，交易完成后，东西就属于对方了，很难再要回来。
法律依据：根据《中华人民共和国民法典》的相关规定，依法成立的合同，受法律保护。如果买卖合同是双方真实意思表示，且不违反法律、行政法规的强制性规定，那么合同就是有效的，双方应当履行。
二、若存在特殊情况
重大误解：在交易过程中，如果双方对交易的关键内容（如房屋价格、面积等）存在错误认识，导致一方做出了错误的决定，那么可能构成重大误解。在这种情况下，受损害方有权请求人民法院或者仲裁机构撤销合同，从而有可能要回房屋。
欺诈行为：如果一方故意隐瞒重要事实或者提供虚假信息，诱使对方做出错误的决定，那么可能构成欺诈。在这种情况下，受欺诈方有权请求人民法院或者仲裁机构撤销合同，进而要回房屋。
胁迫行为：如果一方在被迫的情况下签订了买卖合同，那么可能构成胁迫。在这种情况下，受胁迫方有权请求人民法院或者仲裁机构撤销合同，从而有可能要回房屋。
三、若通过赠与方式过户且存在可撤销情形
赠与行为未完成：如果房屋是通过赠与的方式过户给孙子，但赠与行为尚未完成（例如，只是签订了赠与协议但未办理过户手续），那么赠与人可以随时撤销赠与，从而要回房屋。
法定撤销情形：根据《中华人民共和国民法典》的相关规定，如果孙子严重侵害了赠与人或者赠与人的近亲属，或者对赠与人有扶养义务而不履行，那么赠与人有权撤销赠与，进而要回房屋。但需要注意的是，要想成功撤销赠与并要回房屋，必须要有充分的证据来支持自己的主张。
四、建议与注意事项
收集证据：如果你认为存在上述特殊情况或者可撤销情形，并希望要回房屋，那么你需要收集充分的证据来支持自己的主张。这可能包括交易记录、沟通记录、证人证言等。
咨询专业律师：在处理此类复杂的法律问题时，建议咨询专业律师的意见。律师可以根据你的具体情况，为你提供更详细、更专业的法律建议。
谨慎处理：在处理房屋过户和要回房屋的问题时，一定要谨慎处理。避免因为一时冲动或者不了解法律而做出错误的决定。
总结来说，能否仅凭购房合同要回给孙子的房屋，取决于过户的性质、手续是否完备以及是否存在特殊情况或可撤销情形。如果你对此有疑问或者需要进一步的法律帮助，可以直接向我咨询。