仲裁调解书在特定情形下是可以向仲裁委所在地中级人民法院申请撤销的，而非直接向仲裁委申请撤销。以下是对此问题的详细解答：

1. 申请撤销仲裁调解书的法律依据：

   • 根据《中华人民共和国仲裁法》第五十八条的规定，当事人提出证据证明裁决（包括基于调解达成的裁决）有下列情形之一的，可以向仲裁委员会所在地的中级人民法院申请撤销裁决：
     • 没有仲裁协议；
     • 裁决的事项不属于仲裁协议的范围或者仲裁委员会无权仲裁；
     • 仲裁庭的组成或者仲裁的程序违反法定程序；
     • 裁决所根据的证据是伪造的；
     • 对方当事人隐瞒了足以影响公正裁决的证据；
     • 仲裁员在仲裁该案时有索贿受贿，徇私舞弊，枉法裁决行为。

2. 申请撤销仲裁调解书的条件：

   • 申请人需为仲裁案件的当事人；
   • 需在收到调解书之日起六个月内提出；
   • 需提供充分证据支持主张，即证明存在上述法定撤销事由。

3. 申请撤销仲裁调解书的流程：

   • 准备申请材料，包括申请书、相关证据材料、身份证明文件等；
   • 向仲裁委员会所在地的中级人民法院提交申请；
   • 法院审查并作出裁定，符合条件的将依法受理并作出是否撤销的裁定。

4. 注意事项：

   • 仲裁调解书与民事调解书不同，前者是基于仲裁程序达成的调解协议，其撤销需适用仲裁法规定；后者则是诉讼程序中形成的调解协议，其撤销需通过再审程序解决；
   • 若法院裁定撤销仲裁调解书，原裁决自始无效，当事人可重新选择争议解决方式。

5. 对用户问题的直接回应：

   • 您对仲裁调解书有异议，并不能直接向仲裁委申请撤销，而应在收到调解书之日起六个月内，向仲裁委员会所在地的中级人民法院提出撤销申请。法院将审查您的申请，若符合法定撤销事由，将裁定撤销仲裁调解书。

综上所述，若您对仲裁调解书有异议，并希望申请撤销，请务必在规定期限内，向有管辖权的法院提出申请，并提供充分证据支持您的主张。如有任何法律问题或需要进一步的法律建议，请直接向我咨询。