结论：律师没有起到辩护作用时，是否可以要回律师费，需根据具体情况来判断，包括合同约定、律师是否实际履行了合同义务以及是否存在违约行为等因素。
分析说明：
合同约定：
- 首先，要查看您与律师签订的委托合同中是否有关于律师费退还的具体条款。如果合同中明确规定了在律师未履行辩护职责或未达到约定效果时，可以退还部分或全部律师费，那么您有权依据合同要求退还。
律师是否实际履行了合同义务：
- 律师是否按照合同约定进行了辩护工作，包括但不限于查阅案卷、会见犯罪嫌疑人、出庭辩护等。如果律师没有实际履行这些义务，或者履行义务存在严重瑕疵，导致辩护效果不佳，那么您有权要求退还部分或全部律师费。
- 举例来说，如果律师在庭审中未出庭，或者出庭后未发表任何辩护意见，这明显属于未履行合同义务的情况，您可以据此要求退还律师费。
律师是否存在违约行为：
- 如果律师在辩护过程中存在故意或重大过失，导致您的权益受到损害，那么这也可以视为律师的违约行为。在这种情况下，您不仅有权要求退还律师费，还有权要求律师承担相应的赔偿责任。
- 例如，律师在辩护过程中泄露了您的隐私信息，或者与对方律师串通损害您的利益，这些都属于违约行为，您可以据此要求退还律师费并寻求赔偿。
特殊场景：
- 如果律师已经按照合同约定履行了辩护义务，但由于案件本身的原因（如证据不足、法律适用问题等）导致辩护效果不佳，那么这种情况下要求退还律师费可能较为困难。因为律师已经尽到了其专业范围内的义务，案件结果并非完全由律师控制。
行动建议：
与律师沟通：
- 首先，您可以尝试与律师进行沟通，说明您对辩护效果的不满以及要求退还律师费的意愿。通过沟通，双方可能能够达成一致意见，避免不必要的法律纠纷。
寻求法律援助或咨询：
- 如果与律师沟通无果，您可以考虑寻求其他法律援助或咨询。例如，您可以向当地的律师协会或法律援助中心寻求帮助，了解您的权益和可行的维权途径。
考虑诉讼或仲裁：
- 如果必要，您还可以考虑通过诉讼或仲裁的方式来解决争议。在这种情况下，您需要准备充分的证据来证明律师未履行合同义务或存在违约行为，以便在诉讼或仲裁中维护自己的权益。
后续思考依据：
- 在决定是否要求退还律师费时，您需要综合考虑合同约定、律师的实际履行情况以及案件结果等多方面因素。同时，您也需要了解相关的法律法规和司法实践，以便更好地维护自己的权益。如果您对这些问题存在疑问或不确定，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。