结论是：委托律师没有签订协议，是否能退钱需结合具体情况判断，包括是否存在事实上的委托关系、律师是否已开展工作、是否有法定或约定的解除事由等。以下从不同角度为您详细分析：
一、不存在事实上的委托关系
如果双方既没有签订书面协议，也没有通过实际履行行为（如律师未开展任何调查、咨询等工作）形成事实上的委托关系，那么委托人要求退钱通常是有合理依据的。因为在此情况下，双方并未建立法律上的委托合同关系，律师也未提供任何服务，委托人支付的费用理应可以退还。
二、存在事实上的委托关系
律师未开展实质性工作：
- 如果虽然未签订书面协议，但律师已经接受了委托并准备开展工作（如进行了初步沟通、了解了案件情况等），但尚未开展实质性的调查、取证、出庭等工作，此时委托人要求退钱，律师可能会根据已投入的时间和精力，适当扣除一定费用后退还剩余部分。
- 法律依据：根据《民法典》中关于不当得利的规定，以及委托合同的相关原理，如果律师未提供实质性服务，其收取的费用可能构成不当得利，应当退还。但考虑到律师可能已投入一定成本，因此可能会扣除合理费用。
律师已开展实质性工作：
- 如果律师已经开展了实质性的工作（如进行了调查取证、撰写了法律文书、出庭代理等），此时委托人要求退钱，律师可能会根据已完成的工作量和投入的成本，拒绝退还全部费用，或者只退还部分费用。
- 法律依据：同样根据《民法典》和委托合同的相关原理，律师已经提供了服务，委托人应当支付相应的报酬。如果委托人单方面要求解除委托并退钱，可能构成违约，需要承担一定的违约责任。但如果有法定或约定的解除事由（如不可抗力导致合同目的无法实现、律师存在根本违约行为等），则委托人要求退钱具有法律依据。
三、特殊情形下的退费
- 法定解除事由：如果存在法定解除合同的事由（如不可抗力导致合同目的无法实现、对方存在根本违约行为等），委托人要求退钱具有法律依据，无需承担违约责任。
- 约定解除事由：如果双方在口头约定或实际履行过程中，对退费有明确的约定（如“如果委托人提前解除委托，律师将退还部分费用”等），则按照约定执行。
四、建议与注意事项
- 与律师或律所协商：首先，建议您与律师或律所进行友好协商，明确退费的比例和方式。如果能够达成一致，可以签订书面协议以避免后续纠纷。
- 保留证据：无论是否签订书面协议，都建议您保留好与律师或律所的沟通记录、支付凭证等证据，以备不时之需。
- 寻求法律途径：如果双方对退费问题无法达成一致，您可以通过法律途径来解决。但需要注意的是，这可能会耗费更多的时间和成本。
最后需要提醒的是，不同地区、不同律所对于此类情况的处理方式可能存在差异。因此，在处理具体问题时，建议您结合当地的实际情况和律所的规定来综合考虑。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。