结论：委托书没签字但是收了钱，是否能退回来，需视具体情况而定，主要取决于双方是否存在有效的委托合同关系以及收款方的行为性质。以下从不同角度进行分析：
一、若双方不存在有效的委托合同关系
委托书未签字，合同未成立：
- 根据《中华人民共和国民法典》的相关规定，合同的成立需要双方意思表示一致，并通常需要签字或盖章等确认方式。若委托书未经签字，且双方未就委托事项达成其他形式的合意（如口头协议但缺乏其他证据支持），则委托合同未成立。
- 在此情况下，收款方收取的钱款可能构成不当得利。根据《民法典》中关于不当得利的规定，受损失的人有权请求得利人返还取得的利益。因此，您有权要求收款方退还已收取的钱款。
收款方拒绝退还的处理：
- 若收款方拒绝退还，您可以通过协商、调解、仲裁或诉讼等途径解决纠纷。在诉讼过程中，您需要提供证据证明双方不存在有效的委托合同关系，以及收款方收取的钱款构成不当得利。
二、若双方存在有效的委托合同关系（尽管委托书未签字，但有其他证据证明）
合同实际履行或双方以其他方式确认合同关系：
- 尽管委托书未签字，但如果双方已经实际履行了委托事项，或者通过其他方式（如电子邮件、短信、微信聊天记录等）确认了委托合同关系，那么委托合同可能被视为成立。
- 在此情况下，收款方收取的钱款可能被视为履行委托合同的合理费用或报酬。若您要求退还，可能需要证明收款方存在违约行为或合同中存在退款条款等。
收款方违约或合同存在退款条款的处理：
- 若收款方存在违约行为（如未按照约定履行委托事项），或者合同中明确规定了退款条款，您有权要求收款方按照合同约定退还部分或全部钱款。
- 若收款方拒绝退还，您同样可以通过协商、调解、仲裁或诉讼等途径解决纠纷。在诉讼过程中，您需要提供证据证明收款方存在违约行为或合同中存在退款条款。
三、特殊情况：收款方涉嫌诈骗或非法集资
- 若收款方以非法占有为目的，通过虚构事实或隐瞒真相的方式骗取您的钱款，可能构成诈骗或非法集资等犯罪行为。
- 在此情况下，您应立即向公安机关报案，并配合公安机关的调查工作。若收款方被认定为犯罪嫌疑人，您有权要求其退还骗取的钱款，并可能通过刑事附带民事诉讼的方式追回损失。
建议：
- 在处理此类纠纷时，建议您首先尝试与收款方进行协商，看是否能够达成退款协议。
- 若协商无果，您可以考虑寻求调解、仲裁或诉讼等法律途径解决纠纷。
- 在整个过程中，务必保留好相关证据（如委托书草稿、转账记录、聊天记录等），以便在需要时提供证明。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。