委托人能否推翻被委托人以委托人名义与对方达成的协议，这主要取决于被委托人的代理权限以及协议的具体情况。以下从不同角度进行分析：
被委托人具有合法代理权限的情况
- 若被委托人是在委托人的明确授权范围内，以委托人的名义与对方达成的协议，那么该协议对委托人具有法律约束力。在这种情况下，委托人通常不能随意推翻该协议，除非存在法定或约定的解除条件，或者协议本身存在无效、可撤销的情形（如欺诈、胁迫、重大误解等）。
- 法律依据：根据《中华人民共和国民法典》的相关规定，代理人在代理权限内，以被代理人名义实施的民事法律行为，对被代理人发生效力。这意味着，一旦被委托人在授权范围内行事，其法律后果由委托人承担。
被委托人超出代理权限的情况
- 若被委托人超出了委托人的授权范围，以委托人的名义与对方达成了协议，这构成无权代理。在这种情况下，委托人有权拒绝承认该协议的效力，即可以推翻该协议。但是，如果对方有理由相信被委托人有代理权（如表见代理），且委托人对此存在过错（如未及时撤销无权代理行为），那么委托人可能仍需承担一定的法律责任。
- 法律依据：根据《中华人民共和国民法典》的相关规定，行为人没有代理权、超越代理权或者代理权终止后，仍然实施代理行为，未经被代理人追认的，对被代理人不发生效力。但是，相对人有理由相信行为人有代理权的，代理行为有效。
协议存在无效或可撤销情形的情况
- 无论被委托人是否具有代理权限，如果协议本身存在无效或可撤销的情形（如欺诈、胁迫、重大误解、显失公平等），委托人均有权请求人民法院或者仲裁机构撤销该协议，或者主张协议无效。
- 法律依据：根据《中华人民共和国民法典》的相关规定，因欺诈、胁迫、重大误解、显失公平等情形订立的合同，受损害方有权请求人民法院或者仲裁机构撤销。同时，违反法律、行政法规的强制性规定的合同无效。
建议：
- 如果您作为委托人，发现被委托人以您的名义与对方达成了协议，且您对该协议存在异议，首先应当审查被委托人的代理权限以及协议的具体内容。
- 如果被委托人超出了您的授权范围，或者协议存在无效或可撤销的情形，您可以考虑通过法律途径来维护自己的权益。
- 在处理此类纠纷时，建议您及时咨询专业律师，以便更准确地评估法律风险和制定应对策略。
如果您有任何关于建设工程、公司事务领域的法律问题，或者需要进一步的法律咨询，请直接向我提问。