结论：只签了委托书而没有签委托代理合同，是否可以退款需根据具体情况判断，主要取决于双方约定、委托事项进展及是否存在法定或约定解除情形。以下从不同角度详细分析：
一、从合同成立与生效角度分析
委托书与委托代理合同的关系：
- 委托书通常是单方授权行为，表明委托人授权受托人处理特定事务，但不一定包含双方权利义务的详细约定。
- 委托代理合同则是双方就委托事项、权利义务、费用等达成的合意，具有合同法的约束力。
合同成立与生效：
- 若仅签订委托书，未签订委托代理合同，但双方已实际履行委托事项（如受托人已开始处理事务），且双方行为表明接受委托关系，则可能视为双方以实际行动达成了委托代理的合意，合同成立并生效。
- 若仅签订委托书，未签订委托代理合同，且双方未实际履行委托事项，或双方对委托事项、权利义务等存在争议，则合同可能未成立或未生效。
二、从退款可能性角度分析
双方有明确约定：
- 若委托书或双方口头约定中明确规定了退款条件（如未开始处理事务可全额退款、已开始处理但未完成可部分退款等），则应按照约定执行。
无明确约定但存在法定解除情形：
- 根据《中华人民共和国民法典》相关规定，若委托事项违法、委托人或受托人死亡、丧失民事行为能力或破产等，委托合同可解除，且可能涉及退款问题。
- 若因受托人原因（如未履行职责、违约等）导致委托事项无法完成，委托人有权要求解除合同并退款。
无明确约定且无法定解除情形：
- 若双方无明确约定且无法定解除情形，但委托人因个人原因要求退款，则需与受托人协商。若受托人同意，可退款；若不同意，则可能无法退款，除非委托人能证明受托人存在过错或违约行为。
三、实际操作建议
查看委托书及双方约定：
- 仔细审查委托书内容，查看是否有关于退款、解除合同等条款。
- 回顾双方口头约定或沟通记录，确认是否有关于退款的一致意见。
与受托人协商：
- 若希望退款，应与受托人进行友好协商，说明退款原因及依据。
- 尝试达成退款协议，明确退款金额、时间等细节。
寻求法律途径：
- 若协商无果，且认为受托人存在过错或违约行为，可考虑通过法律途径解决纠纷。
- 咨询专业律师（如我），了解具体法律程序及可能面临的法律后果。
总结：只签了委托书而没有签委托代理合同是否可以退款，需根据双方约定、委托事项进展及是否存在法定或约定解除情形来判断。在实际操作中，建议先查看委托书及双方约定，与受托人协商解决；若协商无果，可寻求法律途径维护自身权益。如有具体法律问题，可直接向我咨询。