可以取消单边代理，但能否成功取消及是否需承担责任，需根据具体情况判断。以下是详细分析：

1. 协商一致取消
   若双方（委托人与代理人）能就取消代理达成一致，可通过签订书面协议明确解除代理关系。这是最直接且无争议的方式，双方均无需承担额外责任。

2. 法定解除权行使
   根据《民法典》相关规定，若代理人存在以下情形，委托人可单方解除代理：

   • 代理人严重失职（如泄露商业秘密、故意损害委托人利益）；
     
   • 代理人丧失代理能力（如被吊销律师执业证、丧失民事行为能力）；
     
   • 委托人丧失信任基础（如代理人与对方存在利益关联）。
     此时，委托人需书面通知代理人解除代理，并保留证据（如邮件、录音）以防纠纷。

3. 约定解除权行使
   若代理合同中明确约定了解除条件（如“委托人可随时无理由解除代理”），则委托人可直接依据合同条款解除，但需注意：

   • 若合同约定了违约金或赔偿条款，委托人可能需支付相应费用；
     
   • 若代理人已实际履行部分代理工作（如起草合同、参与谈判），委托人需按实际工作量支付报酬。

4. 单方违约取消的风险
   若委托人无正当理由单方取消代理（如“突然反悔”“找到更便宜的代理人”），则可能构成违约，需承担：

   • 赔偿代理人实际损失（如已支付的差旅费、调查费）；
     
   • 支付约定违约金（若合同中有明确条款）；
     
   • 代理人已履行工作的报酬（按合同约定或市场价计算）。

建议行动步骤：

1. 查阅代理合同，确认是否有解除条款及违约责任约定；
   
2. 与代理人沟通，尝试协商解除并签订书面协议；
   
3. 若协商不成，评估是否存在法定解除事由，并收集证据；
   
4. 必要时通过法律途径解决，但需权衡诉讼成本与收益。
   

如有具体合同条款或纠纷细节，可直接向我咨询，我会结合实际情况提供进一步分析。