结论：您在签订贷款委托合同后不想继续贷款，中介威胁要到单位找您，这涉及合同解除权及中介行为合法性的问题。以下从多个角度为您分析并提供建议。
一、关于合同解除权
合同解除的法定条件：
- 根据《中华人民共和国民法典》的相关规定，合同解除通常包括约定解除和法定解除。若您与中介签订的委托合同中明确约定了解除条件，且您符合这些条件，则有权解除合同。
- 若无约定，则需考虑法定解除情形，如因不可抗力致使不能实现合同目的、一方明确表示或以自己的行为表明不履行主要债务等。在您的情况下，若仅因个人原因不想继续贷款，可能不构成法定解除的直接理由，但您可以尝试与中介协商解除合同。
协商解除合同：
- 建议您首先与中介进行友好协商，说明您不想继续贷款的原因，并尝试达成解除合同的协议。协商时，可以明确双方的权利义务，包括是否需要支付违约金、如何退还已收取的费用等。
二、关于中介行为的合法性
中介的合法权利与义务：
- 中介作为服务提供者，有权按照合同约定收取服务费用，并有权在您违约时要求您承担违约责任。然而，中介无权采取非法手段进行催收或骚扰。
中介到单位找您的合法性分析：
- 中介到单位找您可能构成对您个人隐私的侵犯，尤其是如果此行为导致您在工作场所受到不必要的干扰或影响。根据《中华人民共和国民法典》中关于隐私权保护的规定，任何组织或个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。
- 若中介采取威胁、恐吓等非法手段进行催收，您有权向公安机关报案，并寻求法律保护。
三、建议与措施
保留证据：
- 建议您保留与中介的所有沟通记录，包括电话录音、短信、微信聊天记录等，以备不时之需。这些证据在后续可能的法律纠纷中可能起到关键作用。
与中介再次沟通：
- 在保留证据的同时，您可以再次与中介沟通，明确表达您不想继续贷款的意愿，并要求中介停止任何非法催收行为。若中介拒绝停止，您可以考虑采取法律手段维护自己的权益。
寻求法律帮助：
- 若您与中介无法达成一致，或中介采取非法手段进行催收，建议您及时咨询专业律师（即向我咨询），了解您的法律权利和义务，并寻求法律帮助。律师可以协助您起草法律文书、参与谈判或提起诉讼等。
最后，面对此类情况，保持冷静和理性至关重要。通过合法途径维护自己的权益是最佳选择。若您有任何进一步的问题或需要进一步的法律帮助，请随时向我咨询。