如果您与中介签订了购房合同，但现在不想继续购买了，这确实是一个需要谨慎处理的问题。以下是一些建议，希望能帮助您妥善解决这一困境。

首先，查看合同约定是非常重要的。您需要仔细阅读购房合同，特别是关于解除合同、违约责任以及定金等方面的条款。如果合同中明确规定了解除合同的条件和程序，您可以按照这些规定来操作，以完成合同的解除。

如果合同中没有相关约定，或者您不满足合同规定的解除条件，那么与中介和卖方协商是一个可行的选择。您可以诚恳地向他们说明您不想购买的原因，并尝试达成一个双方都能接受的解决方案。如果卖方同意解除合同，并且不追究您的违约责任，那么您可以签订解除协议，并相互返还之前交付的财产。

然而，如果协商不成功，您单方面解除合同将构成违约，并需要承担违约责任。这通常意味着您需要支付一定数额的违约金。违约金的数额一般依据合同约定，如果您认为约定的违约金过高或者过低，可以向法院请求调整。

在特殊情况下，如果合同存在重大误解、显失公平、欺诈、胁迫等可撤销合同的情形，您可以向法院或仲裁机构申请撤销合同。但请注意，行使撤销权是有期限限制的，您需要在法定期限内提出申请。

最后，我想强调的是，单方不履行合同会有相应的法律后果，因此建议您在做出决定之前务必谨慎考虑。如果可能的话，最好咨询专业的法律人士或律师，以获取更具体的法律建议和帮助。

总之，处理这类问题需要综合考虑多种因素，并尽可能通过协商和合法途径来解决。希望这些建议能对您有所帮助。