结论：与律师只签了委托书没有签正式合同的情况下，委托关系仍然是可以解除的，但具体解除方式和法律后果需根据实际情况来判断。
一、委托关系的成立与解除
委托关系的成立：
- 委托关系并不完全依赖于书面合同的签订。在实际操作中，只要双方有明确的委托意愿，并且律师已经实际接受了委托并开始履行代理职责，委托关系即告成立。因此，即使没有签订正式的书面合同，只要存在事实上的委托行为，委托关系就是存在的。
委托关系的解除：
- 根据《中华人民共和国民法典》的相关规定，委托人或者受托人可以随时解除委托合同。这意味着，无论是否签订了正式的书面合同，你都有权在不受特定条件限制的情况下解除与律师的委托关系。
二、解除委托关系的程序与注意事项
通知方式：
- 解除委托关系应当以适当方式通知律师。为了确保通知的有效性，推荐采用书面形式，如邮件、信函等，并明确表达解除委托关系的意愿及解除时间等内容。这样做有助于避免日后产生争议。
合同条款审查：
- 如果双方之前有签订过任何形式的协议或委托书，务必仔细阅读其中的条款，特别是关于合同解除、违约责任及费用承担等方面的内容。这将帮助你更好地了解解除委托关系可能带来的法律后果。
费用结算：
- 在解除委托关系前，应与律师就已产生的费用进行结算。这包括律师已经为你提供的法律服务所对应的费用，以及可能因解除委托关系而产生的额外费用（如违约金等）。
三、解除委托关系的法律后果
赔偿损失：
- 如果你行使任意解除权解除委托关系，且非因不可归责于你的事由，你可能需要对律师因解除行为遭受的合理损失予以赔偿。这通常包括律师已经为你提供的法律服务所对应的直接费用，以及可能因解除委托关系而导致的预期利益损失（对于有偿委托合同而言）。
协商处理：
- 在某些情况下，与律师进行协商可能是解决解除委托关系问题的最佳途径。通过友好协商，你们可以就解除委托关系后的权利义务达成一致意见，从而避免不必要的法律纠纷。
四、特殊情况下的处理
- 如果律师存在严重违反职业道德或法律法规的行为，如泄露你的商业秘密、不尽勤勉义务导致案件处理失误等，你有权立即解除委托关系，并可能不需要承担因解除行为而产生的赔偿责任。在这种情况下，建议你及时收集相关证据，以便在必要时维护自己的合法权益。
总结与建议：
与律师只签了委托书没有签正式合同的情况下，你仍然有权解除委托关系。但在行使这一权利时，应充分考虑合同条款、法律规定及可能产生的法律后果。如果你对解除委托关系的程序或法律后果存在疑问，或者需要进一步的法律帮助，请随时向我咨询。我会根据你的具体情况，为你提供专业、全面的法律建议。