如果您已经签订了三方协议但不想继续前往该单位工作，您可以按照以下步骤来处理这个问题：

首先，明确解除协议的意愿： 您需要清晰地认识到自己不想继续履行三方协议的意愿，并准备好与相关方进行沟通。

接下来，与用人单位进行协商：

1. 提前通知：根据一般规定（虽然三方协议不完全等同于劳动合同，但其中的解除条款或相关法律规定可作参考），您应提前以书面形式（如邮件、信件等）通知用人单位您的解除意愿。如果协议中有明确规定解除通知期限，请遵循该规定；若无明确规定，建议提前一个合理的时间段，如一周到两周，以便用人单位有足够的时间进行人员调整。

2. 沟通协商：与用人单位的人力资源部门或相关负责人进行沟通，说明您不想继续工作的原因，并尝试达成一个双方都能接受的解决方案。这可能包括解除协议、支付一定的违约金（如果协议中有规定）或进行其他形式的补偿。

3. 查看协议条款：仔细审查三方协议中关于解除协议的条款，了解是否有关于提前解除、违约金、赔偿等方面的具体规定。这将有助于您在协商过程中明确自己的权利和义务。

然后，处理相关手续：

1. 签署解除协议：如果与用人单位达成一致，双方应签署解除协议，明确解除的时间、方式、责任等事项。

2. 办理离职手续：根据用人单位的要求，办理相关的离职手续，如归还公司财物、交接工作等。

3. 保留证据：在整个过程中，保留好所有与用人单位的沟通记录、解除协议、离职证明等文件，以备不时之需。

最后，考虑法律后果：

• 如果三方协议中有明确的违约条款，且您未能按照协议规定提前通知或支付违约金，用人单位可能有权要求您承担相应的法律责任。
• 如果您在解除协议过程中遇到任何问题或纠纷，可以寻求法律援助或咨询专业律师，以维护自己的合法权益。

总之，解除三方协议是一个需要谨慎处理的过程。建议您在做出决定前充分考虑各种因素，并与用人单位进行充分沟通，以达成一个双方都能接受的解决方案。