仲裁协议的效力主要由仲裁委员会或人民法院来确认。以下是对这一问题的详细分析：
一、确认机构
仲裁委员会：
- 仲裁委员会作为处理仲裁事务的专门机构，有权审查和判断仲裁协议的效力。当事人对仲裁协议效力有异议时，可以向仲裁委员会提出申请，由仲裁委员会进行审查并作出决定。
人民法院：
- 在特定情况下，如当事人对仲裁协议效力存在争议且一方请求法院裁定时，由人民法院进行确认。若双方当事人分别向仲裁委员会和人民法院申请确认仲裁协议效力，则由先受理的机构作出决定；若同时受理，则由人民法院裁定。
二、确认时间
- 当事人对仲裁协议的效力有异议，应当在仲裁庭首次开庭前提出。这是为了确保仲裁程序的顺利进行，避免不必要的拖延和混乱。若当事人在起诉时未声明有仲裁协议，而法院已受理，另一方在首次开庭前提交仲裁协议的，法院应当驳回起诉（除非仲裁协议无效）；若另一方在首次开庭前未提出异议，则视为放弃仲裁协议，法院将继续审理。
三、确认考量因素
形式要件：
- 仲裁协议必须采用书面形式，包括合同中的仲裁条款或以其他书面方式达成的请求仲裁的协议。协议需经当事人签字或盖章，以表示对协议内容的认可和接受。
实质要件：
- 双方当事人需具备相应的民事行为能力，否则所签仲裁协议可能无效。
- 仲裁协议应是双方真实意思的表示，不存在欺诈、胁迫等情形，否则协议可被撤销或认定无效。
- 协议应明确约定仲裁事项，且该事项需具有可仲裁性，即属于法律规定可通过仲裁方式解决的纠纷范围。
- 协议应明确选定具体的仲裁委员会，否则可能导致协议无效。
四、特殊情况与无效情形
特殊情况：
- 当双方当事人分别向不同机构申请确认仲裁协议效力时，遵循“先受理原则”和“人民法院优先原则”。
无效情形：
- 约定的仲裁事项超出法律许可的仲裁范围。
- 由无民事行为能力者或限制民事行为能力者签订。
- 存在欺诈、胁迫等导致意思表示不真实的情形。
- 仲裁事项或仲裁委员会约定不明确，且无法达成补充协议。
- 约定的仲裁机构不存在。
五、确认的法律后果
有效：
- 双方当事人受仲裁协议约束，按约定将争议提交选定仲裁委员会进行仲裁。裁决后需履行义务，否则可申请强制执行。
无效：
- 当事人不能通过仲裁方式解决争议，可选择向有管辖权的人民法院提起诉讼。
六、实际操作建议
- 在签订仲裁协议时，务必确保协议内容明确、具体，符合法律规定的要件，以避免后续争议。
- 若对仲裁协议的效力存在疑问，应及时向仲裁委员会或人民法院申请确认，以确保自身权益得到有效保护。
综上所述，仲裁协议的效力确认是一个严谨而复杂的过程，涉及多个法律知识点和实际操作环节。如果你在签订或执行仲裁协议过程中遇到任何问题，都可以直接向我咨询，我会为你提供专业的法律意见和帮助。