针对您提出的问题，关于在不懂法时签了调解协议，后来发现法律规定责任在对方，能否撤除调解的问题，我给出以下分析：

结论前置： 一般情况下，调解协议一旦签订，即具有法律效力，不能轻易撤除。但如果在签订时存在重大误解、显失公平或欺诈、胁迫等情形，可能有机会撤除或请求变更调解协议。

详细分析：

1. 调解协议的法律效力：

   • 调解协议是双方自愿达成的，对双方均具有法律约束力。
   • 如果没有法定事由，一般不能单方面撤除。

2. 可能撤除或变更的情形：

   • 重大误解：如果在签订调解协议时，您对协议的内容或法律后果存在重大误解，且这种误解对协议的履行产生了实质性影响，那么您可能有机会请求撤除或变更协议。
   • 显失公平：如果调解协议的内容明显偏袒一方，导致双方的权利义务严重失衡，那么受损害的一方可以请求撤除或变更协议。
   • 欺诈、胁迫：如果在签订调解协议时，对方存在欺诈行为或对您进行了胁迫，导致您在违背真实意愿的情况下签订了协议，那么您可以请求撤除协议。

3. 撤除或变更的程序：

   • 如果您认为调解协议存在上述可撤除或变更的情形，可以向人民法院提起诉讼，请求撤除或变更协议。
   • 在提起诉讼时，您需要提供充分的证据来证明协议存在可撤销或变更的情形。

4. 建议：

   • 在决定是否撤除或变更调解协议之前，建议您仔细审查协议的内容，并咨询专业律师的意见。
   • 如果确实存在可撤销或变更的情形，且您决定提起诉讼，请务必准备好充分的证据来支持您的主张。

综上所述，调解协议一旦签订即具有法律效力，不能轻易撤除。但如果存在法定事由，如重大误解、显失公平或欺诈、胁迫等情形，您可能有机会请求撤除或变更协议。在决定是否采取行动之前，建议您仔细审查协议内容，并咨询专业律师的意见。