结论：在租赁合同为不定期的情况下，违约方在特定条件下可以解除合同，但解除合同后仍需承担相应的违约责任。以下从不同角度详细分析：
一、不定期租赁合同的特性与违约方解除权的基础
不定期租赁合同，顾名思义，是指没有明确约定租赁期限的合同。根据《中华人民共和国民法典》的相关规定，以持续履行的债务为内容的不定期合同，当事人可以随时解除合同，但是应当在合理期限之前通知对方。这一规定为不定期租赁合同的双方，包括违约方，提供了一定的合同解除权基础。然而，这种解除权并非无条件的，它需要在合理期限之前通知对方，并且不能违反诚实信用原则和合同严守原则。
二、违约方解除不定期租赁合同的情形
协商一致解除：
- 即便一方存在违约行为，如果双方经过友好协商，就解除不定期租赁合同达成一致意见，那么合同可以解除。这是基于当事人意思自治原则，双方自愿对合同关系的终止做出安排。
- 举例：承租方因经营策略调整需要提前退租，虽然此行为构成违约，但与出租方协商后，出租方考虑到实际情况同意解除合同，并就违约责任承担等事宜达成共识，那么合同可以解除。
合同目的无法实现：
- 当违约行为导致合同目的不能实现，且继续履行合同对于违约方显失公平，同时守约方拒绝解除合同又违反诚实信用原则时，违约方有权请求法院或仲裁机构解除合同。
- 举例：在不定期租赁中，承租方租赁房屋用于特定的短期商业活动，因出租方违约（如房屋存在严重安全隐患）导致活动无法进行，且错过最佳时机。此时，即使承租方作为违约方（如未按时支付部分租金），也可向法院或仲裁机构提出解除合同的请求。
三、违约方解除不定期租赁合同的程序与后果
解除程序：
- 通知义务：无论基于何种原因解除合同，违约方都应在合理期限之前通知对方，以便对方有足够的时间做出安排。
- 协商解除：如果双方能够协商一致，可以签订解除协议，明确双方的权利义务关系及合同解除的相关事宜。
- 诉讼或仲裁：如果双方无法协商一致，违约方可以向法院或仲裁机构提起诉讼或仲裁申请，请求解除合同。
解除后果：
- 违约责任：即使违约方成功地解除了合同，也不代表其可以免于承担相应的违约责任。违约方仍需依照合同条款或相关法律法规，向守约方支付相应的补偿金或赔偿损失。
- 举例：承租方因违约行为解除了不定期租赁合同，但根据合同约定或法律规定，仍需向出租方支付一定数额的违约金或赔偿出租方因解除合同而遭受的损失。
四、特别提示与建议
- 审查合同条款：在签订不定期租赁合同时，双方应仔细审查合同条款，特别是关于合同解除、违约责任等方面的约定，以避免未来发生纠纷。
- 保留证据：在合同履行过程中，双方应保留好与合同履行相关的证据，如付款记录、沟通记录、房屋现状照片等，以便在发生纠纷时能够证明自己的主张。
- 及时沟通：如果一方出现违约行为或可能无法继续履行合同的情况，应及时与对方沟通，尝试通过协商解决问题，避免纠纷升级。
综上所述，违约方在特定条件下可以解除不定期租赁合同，但解除合同后仍需承担相应的违约责任。如果你面临类似问题或有其他法律疑问，可以直接向我咨询。