可以解约，但能否顺利解约并免除责任，需视具体情况而定。以下从不同角度为你详细分析：

一、合同中有明确约定解约条款的情况

如果你们签订的委托合同中，明确约定了律师不负责（比如未按照约定履行职责、存在重大过失等）时，委托人有权解除合同，并且可以要求律师承担相应的违约责任或赔偿损失，那么在这种情况下，你完全可以依据合同条款来解约，并按照合同约定追究律师的责任。

举例：假设合同中明确写着“若律师在代理过程中，因故意或重大过失导致委托人利益受损，委托人有权单方面解除合同，并要求律师赔偿因此造成的全部损失”，那么如果律师确实存在这样的行为，你就可以直接依据这条来解约并要求赔偿。

二、合同中没有明确约定解约条款的情况

如果合同中没有明确约定解约条款，但律师确实存在不负责的行为，比如不按时出庭、不积极收集证据、不与委托人沟通案件进展等，这些行为可能构成了违约或违反了律师的职业道德规范。在这种情况下，你虽然不能直接依据合同条款来解约，但可以根据《民法典》中关于委托合同的规定来主张权利。

法律依据：根据《民法典》第九百三十三条：“委托人或者受托人可以随时解除委托合同。因解除合同造成对方损失的，除不可归责于该当事人的事由外，无偿委托合同的解除方应当赔偿因解除时间不当造成的直接损失，有偿委托合同的解除方应当赔偿对方的直接损失和合同履行后可以获得的利益”。虽然这条规定赋予了委托人随时解除合同的权利，但解除合同后，如果给律师造成了损失，且该损失不是由于你的原因造成的，你可能需要承担一定的赔偿责任。不过，如果律师存在不负责的行为，且这种行为是导致你解除合同的原因，那么你可以主张免除或减轻赔偿责任。

建议：在这种情况下，我建议你先与律师进行沟通，明确指出其不负责的行为，并要求其改正。如果律师拒绝改正或无法联系到律师，你可以考虑向律师事务所投诉或向当地的律师协会反映情况。同时，你也可以考虑通过法律途径来解除合同，并要求律师承担相应的责任。在采取法律行动之前，我建议你先收集好相关证据，比如与律师的沟通记录、案件进展情况等，以便在需要时能够证明律师的不负责行为。

三、律师不负责行为构成违法或犯罪的情况

如果律师的不负责行为已经构成了违法或犯罪，比如贪污受贿、泄露委托人隐私等，那么你不仅可以解除合同，还可以向相关部门举报或控告律师的违法行为。在这种情况下，律师可能会面临行政处罚或刑事处罚，而你也可能因此获得相应的赔偿或补偿。

举例：如果律师在代理过程中，利用职务之便贪污了你的案件费用或收受了对方的贿赂，那么这种行为就构成了犯罪。你可以向公安机关报案，并要求追究律师的刑事责任。同时，你也可以向法院提起民事诉讼，要求律师赔偿你的损失。

总结与建议：律师不负责时，你确实有权解约，但具体能否顺利解约并免除责任，需根据合同约定、律师行为性质及法律规定来综合判断。我建议你先与律师沟通尝试解决问题；若无法解决，再考虑通过法律途径维护自身权益。在此过程中，务必保留好相关证据以支持你的主张。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。