针对您提出的“只有双方协议领养手续没有办下来可以退回去吗”的问题，首先我们需要明确一点：领养行为在法律上是一种具有严肃性的行为，它涉及到被领养人的权益保护以及领养家庭的责任承担。

从您提供的信息来看，如果双方已经达成了领养协议，但领养手续尚未正式办下来，这意味着领养关系在法律上还未正式确立。然而，即使如此，双方仍然应当遵循协议中的约定，并尽到相应的责任和义务。

现在，您提到想要“退回去”，这实际上涉及到了领养关系的解除。根据《中华人民共和国民法典》以及《中国公民收养子女登记办法》的相关规定，当事人协议解除收养关系的，应当到民政部门办理解除收养关系登记。这意味着，如果双方想要解除领养关系，并不是简单地“退回去”就可以实现的，而是需要按照法律程序进行办理。

具体来说，如果双方想要解除领养关系，应当首先协商一致，并共同前往民政部门办理解除收养关系的登记手续。在办理过程中，民政部门会对双方的情况进行审核，并依法作出是否准予解除收养关系的决定。

因此，我建议您如果确实存在解除领养关系的意愿，应当先与对方进行充分沟通并协商一致，然后共同前往民政部门按照法律程序办理相关手续。同时，也建议您在办理过程中咨询专业的法律人士或机构，以确保您的权益得到妥善保护。