取消房贷合同通常需通过与银行协商或法律途径解决，一般不直接由某个政府部门处理，但可根据情况向银保监会或当地金融监管部门寻求帮助。以下是具体分析：

1. 与银行协商解除合同
   房贷合同是您与银行之间的民事协议，根据《民法典》相关规定，若双方协商一致，可解除合同。您需主动联系银行说明取消原因（如经济困难、提前还款等），银行会根据内部流程审核。若银行同意，双方需签订解除协议，明确剩余本金、利息、违约金等结算方式。

2. 通过法律途径解除合同
   若银行拒绝协商或您认为合同存在违法条款（如利率超标、霸王条款），可向法院提起诉讼，请求解除合同。法院会根据《民法典》中关于合同解除的条件（如不可抗力、根本违约等）进行审理。若胜诉，银行需配合解除合同，但您可能需承担部分违约责任（如支付违约金）。

3. 向监管部门投诉或求助

   • 银保监会（12378热线）：若银行存在违规行为（如强制搭售保险、乱收费），可向银保监会投诉，监管部门会介入调查并督促银行整改。
     
   • 当地金融监管局：部分地区设有金融监管局，可协助调解您与银行之间的纠纷，但无权直接强制解除合同。
     

温馨提示：取消房贷合同可能涉及高额违约金或影响个人征信，建议先评估自身经济状况和合同条款，再决定是否取消。若有具体合同条款或纠纷细节需要分析，可直接向我咨询，我会结合实际情况为您提供更详细的建议。