结论：针对您描述的情况，您现在后悔未卖出房屋，主要涉及的是合同解除及违约责任的问题。具体能否解除合同、是否需要承担违约责任，需根据合同条款、双方行为及法律规定综合判断。以下从不同角度为您详细分析：
一、合同解除的可能性
协商解除：
- 分析：根据《民法典》的相关规定，合同双方可以协商一致解除合同。若您与买方能够就解除合同达成一致意见，并签订书面解除协议，则合同可以解除。
- 建议：您可以主动与买方沟通，说明您后悔的原因，尝试协商解除合同。若买方同意，务必签订书面解除协议，明确双方的权利义务，避免后续纠纷。
法定解除：
- 分析：若合同中约定了解除条件，且该条件已成就，或者存在法定解除情形（如买方迟延履行主要债务，经催告后在合理期限内仍未履行等），您有权解除合同。但根据您描述的情况，买方并未出现明显的违约行为，因此法定解除的可能性较小。
- 建议：仔细审查合同条款，确认是否存在解除条件或法定解除情形。若不存在，则需考虑其他方式解除合同。
因中介行为解除：
- 分析：中介的辱骂行为虽然不当，但通常不构成合同解除的法定理由。除非中介的行为严重影响了合同的履行，且您能证明该行为与合同解除之间存在因果关系。
- 建议：若中介的辱骂行为给您造成了精神损害或其他损失，您可以考虑向中介主张侵权责任，但这与合同解除无直接关联。
二、违约责任的问题
若合同未解除：
- 分析：若您未与买方协商解除合同，且不存在法定解除情形，则您单方面拒绝履行合同可能构成违约。根据合同约定，您可能需要承担违约责任，如支付违约金、赔偿损失等。
- 建议：在决定是否继续履行合同前，务必评估违约成本。若违约成本较高，且您确实希望解除合同，建议优先通过协商方式解决。
若合同已解除：
- 分析：若合同已通过协商或法定方式解除，则双方的权利义务终止。但若因您的违约行为导致合同解除，您可能仍需承担一定的违约责任，具体取决于合同约定和法律规定。
- 建议：在签订解除协议时，务必明确双方的责任划分，避免后续纠纷。若协议中未明确约定违约责任，则根据法律规定和实际情况进行判断。
三、后续行动建议
- 审查合同条款：仔细审查房屋买卖合同中的条款，特别是关于合同解除、违约责任等方面的约定。
- 与买方沟通：主动与买方沟通，说明您的情况和想法，尝试协商解除合同或达成其他解决方案。
- 咨询专业律师：若您对合同解除、违约责任等问题存在疑问或担忧，建议咨询专业律师，以便获得更具体的法律建议。
最后，房屋买卖合同涉及重大财产权益，处理时需谨慎。若您有任何疑问或需要进一步的法律帮助，请直接向我咨询。