是的，变更抚养权协议公证需要双方都去。因为签署《确定孩子抚养权协议》关系到双方当事人对被抚养的孩子有特定的人身利益，所以法律要求双方当事人应亲自到公证处申请办理抚养权公证手续，而不得委托他人办理。否则，公证处可以依法为其不予办理公证手续。

具体来说，抚养权公证的法律依据主要来源于《民法典》第一千零八十四条，该条规定了父母与子女间的关系，以及离婚后父母对子女的抚养权利和义务。由于抚养权协议的特殊性，它涉及到对未成年子女的抚养问题，因此法律要求双方当事人必须亲自到场，以确保协议的真实性和合法性。

在办理公证时，双方需要携带相关证件和材料，如身份证、户口本、离婚证（如适用）、抚养权协议等。公证处会对双方提交的材料进行审核，并询问双方关于抚养权协议的真实意愿和具体情况。如果双方均表示自愿并同意协议内容，公证处会出具公证书，确认抚养权协议的合法性和有效性。

总之，变更抚养权协议公证需要双方亲自到场，这是法律对抚养权协议特殊性的要求，也是确保协议真实性和合法性的重要措施。如果双方无法亲自到场，可以考虑通过其他方式解决抚养权问题，如协商或诉讼等。但无论选择哪种方式，都应该遵循法律规定和程序要求。