结论：孙子代理糊涂的老人去银行取钱，且未将款项用于老人身上，这一行为是否合法需视具体情况而定，但通常情况下，未经合法授权或违反法定程序的操作可能构成违法。
详细分析
代理权限的合法性
- 法定代理：若老人因糊涂（如患有老年痴呆症等精神疾病）而无法独立进行民事活动，根据《中华人民共和国民法典》的相关规定，其近亲属（如配偶、成年子女等）可以作为法定代理人代为行使民事权利。但孙子通常不属于法定代理人的范畴，除非其被特别指定为监护人。
- 意定代理：若老人在清醒时通过书面形式（如遗嘱、授权委托书等）明确指定孙子为其代理人，并授权孙子代为处理银行事务，则孙子在授权范围内行事是合法的。但此类授权需严格符合法律规定的形式要件。
款项使用的合法性
- 专款专用：即使孙子作为合法代理人代老人取钱，也必须确保款项用于老人的生活、医疗等必要支出。若将款项挪作他用（如用于孙子自己的消费、投资等），则可能构成对老人财产权的侵犯，甚至可能涉及刑事犯罪（如盗窃罪、侵占罪等）。
- 证据留存：孙子在代老人取钱并使用时，应保留相关证据（如购物发票、医疗记录等），以证明款项确实用于老人身上。否则，在发生纠纷时，孙子可能难以证明自己的清白。
银行操作的合规性
- 身份验证：银行在办理取款业务时，通常会要求代理人出示老人的有效身份证件、代理人的有效身份证件以及授权委托书等文件。若孙子无法提供完整的文件或银行对代理人的身份存疑，银行有权拒绝办理取款业务。
- 大额取款规定：对于大额取款（如超过一定金额），银行可能要求提前预约或提供额外的证明文件。孙子在代老人取钱时，应遵守银行的相关规定。
法律建议
- 确认代理权限：孙子在代老人取钱前，应确认自己是否具有合法的代理权限。若没有，应通过合法途径（如与老人的其他近亲属协商、申请法院指定监护人等）获得代理权限。
- 专款专用：孙子在代老人取钱后，应确保款项用于老人的必要支出，并保留相关证据。
- 遵守银行规定：孙子在代老人取钱时，应遵守银行的相关规定，如提供完整的文件、遵守大额取款规定等。
- 寻求法律帮助：若孙子在代老人取钱过程中遇到法律问题或纠纷，应及时寻求专业律师的法律帮助。
可能的法律后果
- 民事责任：若孙子未经合法授权或违反法定程序代老人取钱，并挪作他用，可能需承担民事赔偿责任，赔偿老人因此遭受的损失。
- 刑事责任：在极端情况下，若孙子的行为构成犯罪（如盗窃罪、侵占罪等），则可能面临刑事处罚。
总结：孙子代理糊涂的老人去银行取钱且未将款项用于老人身上的行为是否合法，需根据具体情况判断。为避免法律风险，建议孙子在代老人取钱前确认自己的代理权限、遵守银行规定、确保专款专用，并在遇到法律问题时及时寻求专业律师的帮助。