结论：您签了购房合同并交了2万定金后不想买了，是否需要赔20万违约金和3万中介费，需根据合同具体条款、实际损失情况以及法律规定来综合判断。以下从不同角度为您详细分析：
一、关于定金
定金罚则：
- 根据《中华人民共和国民法典》第五百八十七条，收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。
- 反之，如果给付定金的一方（即您）不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金。
- 在您的情况下，由于您是主动不想购买房屋，因此这2万定金很可能无法要回。
定金数额限制：
- 根据《中华人民共和国民法典》第五百八十六条，定金的数额由当事人约定，但不得超过主合同标的额的百分之二十，超过部分不产生定金的效力。
- 您需要确认购房合同的总价款，以判断这2万定金是否超过了法定限额。如果未超过，则定金条款有效；如果超过，则超出部分不适用定金罚则。
二、关于违约金
违约金条款：
- 购房合同中如果明确约定了违约金条款，且该条款不违反法律、行政法规的强制性规定，那么您可能需要按照合同约定支付违约金。
- 但违约金的数额应当合理，不得过分高于造成的损失。如果中介要求的20万违约金明显高于其实际损失，您可以请求法院或仲裁机构予以适当减少。
实际损失判断：
- 中介需要证明其因您违约而遭受了实际损失，且该损失与您的违约行为之间存在因果关系。
- 如果中介无法证明其实际损失，或者其要求的违约金明显高于实际损失，那么您有权拒绝支付过高的违约金。
三、关于中介费
中介费支付条件：
- 中介费通常是在中介促成合同成立后支付。如果您已经与卖方签订了购房合同，且中介在促成合同成立过程中提供了服务，那么您可能需要按照合同约定支付中介费。
- 但如果您能够证明中介在服务过程中存在过错或违约行为，导致您无法继续履行合同，那么您可以拒绝支付或要求减少中介费。
中介费数额合理性：
- 您需要确认购房合同中关于中介费的约定是否合理。如果中介费数额明显过高，或者与中介提供的服务不相符，您可以与中介协商减少中介费。
四、建议行动
审查合同：
- 仔细审查购房合同和中介服务合同中的相关条款，特别是关于定金、违约金和中介费的约定。
与中介协商：
- 尝试与中介进行友好协商，说明您的情况和困难，争取达成一个双方都能接受的解决方案。
寻求法律帮助：
- 如果协商无果，或者您认为中介的要求不合理，可以向我咨询，我会根据您的具体情况和合同条款，为您提供专业的法律意见和帮助。
最后，购房合同纠纷涉及的法律问题较为复杂，且每个案件的具体情况都有所不同。因此，在处理此类纠纷时，建议您保持冷静、理性，并寻求专业的法律帮助。如果您有任何疑问或需要进一步的法律咨询，请随时向我提问。