针对您提出的关于餐饮品牌配方被买走后使用几年又想追回买配方钱的问题，由于买配方时没有签订协议，这确实是一个比较复杂的法律纠纷。以下是我的分析：

1. 追回买配方钱的难度：

   • 在没有签订书面协议的情况下，要证明双方之间存在买卖配方的交易关系，以及具体的交易条款（如价格、支付方式、使用期限等），将非常困难。
   • 如果无法提供充分的证据来证明交易关系的存在和具体内容，那么追回买配方钱的可能性将大大降低。

2. 可能的法律途径：

   • 口头协议的证据：尽管没有书面协议，但如果双方有口头约定，并且能够通过其他证据（如证人证言、聊天记录等）来佐证这个口头约定，那么仍然有可能证明交易关系的存在。
   • 不当得利或侵权诉讼：如果买方在未经许可的情况下长期使用了配方，并且因此获得了经济利益，那么卖方可以考虑以不当得利或侵权为由提起诉讼，要求买方返还部分或全部收益。
   • 商业秘密保护：如果配方构成商业秘密，并且卖方能够证明买方以不正当手段获取了该配方，那么还可以考虑通过商业秘密保护的法律途径来维护自己的权益。

3. 建议：

   • 首先，尽可能收集所有与交易相关的证据，包括聊天记录、转账记录、证人证言等。
   • 其次，咨询专业的知识产权律师或商业律师，详细评估案件情况和可能的法律途径。
   • 最后，根据律师的建议，决定是否采取法律行动，以及如何采取法律行动。

综上所述，由于没有签订书面协议，追回买配方钱的难度会相对较大。但并非完全没有可能，关键在于能否收集到充分的证据来证明交易关系的存在和具体内容。因此，我建议您尽快采取行动，收集证据并咨询专业律师以获取更具体的法律建议。