结论：您可以解除合同，但能否全额退回5000元押金以及是否需要承担其他责任，需根据合同条款、违约情形及实际损失综合判断。以下从不同角度为您详细分析：
一、合同解除的法律依据
根据《民法典》第五百六十二条、第五百六十三条，合同解除分为约定解除和法定解除两种情形：
- 约定解除：若合同中明确约定了“一方发现合同存在问题时可解除合同”或类似条款，您可直接依据合同约定主张解除，并要求退还押金。
- 法定解除：若合同未约定解除条款，但装修公司存在以下情形，您可主张法定解除：
- 根本违约：如装修公司未按合同约定提供设计方案、材料质量不达标等，导致合同目的无法实现；
- 预期违约：装修公司明确表示或以行为表明不履行合同主要义务；
- 其他情形：如合同存在欺诈、胁迫、显失公平等可撤销情形，您可先主张撤销合同，再要求解除。
建议：立即核对合同条款，重点查看“解除条件”“违约责任”等章节，并留存装修公司违约的证据（如聊天记录、照片、视频等）。
二、押金退还的规则
押金是否退还及退还金额，需结合以下因素判断：
- 合同约定：若合同明确约定“押金在解除合同时全额退还”，您有权要求全额退回；若约定“押金作为违约金不予退还”，则需进一步分析违约情形。
- 违约责任：若因您单方解除合同且无合法理由，装修公司可主张押金作为违约金；但若违约金过高（超过实际损失的30%），您可请求法院或仲裁机构调整。
- 实际损失：若装修公司已为合同履行支出合理费用（如设计费、材料采购费等），可能从押金中扣除相应金额，但需提供证据证明。
计算公式（若需赔偿）：
应退押金 = 5000元 - 装修公司实际损失
（实际损失需装修公司举证，且不得超过押金总额）
三、您的行动建议
- 协商解决：优先与装修公司沟通，说明合同问题及解除理由，争取友好退还押金；
- 发送书面通知：若协商无果，可向装修公司发送《解除合同通知书》，明确解除理由、押金退还要求及期限；
- 投诉或诉讼：若装修公司拒绝退还，可向当地消费者协会投诉，或直接向法院起诉，主张解除合同并退还押金。
四、风险提示
- 若您无正当理由解除合同，可能需承担违约责任，押金可能被部分或全部扣留；
- 若装修公司存在违约行为，您需在解除合同后及时止损，避免扩大损失（如停止支付后续款项），否则可能被认定对损失扩大存在过错。
最后建议：合同纠纷处理需结合具体证据和条款，建议您整理合同、付款凭证、沟通记录等材料，进一步向我咨询具体方案。