结论：是否会被起诉取决于多种因素，包括合同的具体条款、您的违约行为是否给对方造成了实际损失、对方是否选择通过法律途径解决纠纷等。以下是对这些因素的详细分析：
合同条款：
- 首先，需要仔细审查您与中介签订的贷款合同中的相关条款。合同中通常会规定双方的权利和义务，以及违约责任。如果合同中明确规定了如果一方违约，另一方有权采取法律措施（如起诉）来维护自己的权益，那么您在不想继续贷款的情况下，确实可能面临被起诉的风险。
- 另一方面，如果合同中没有明确规定违约责任，或者规定的违约责任相对较轻（如仅要求支付一定的违约金），那么对方起诉您的可能性可能会降低。
实际损失：
- 即使合同中规定了违约责任，对方是否选择起诉您还取决于其是否因您的违约行为而遭受了实际损失。如果您的违约行为没有给对方造成任何损失，或者损失较小，对方可能会选择通过协商或其他方式解决纠纷，而不是直接起诉。
- 然而，如果您的违约行为给对方造成了较大的经济损失，对方为了维护自己的权益，很可能会选择通过法律途径来追究您的责任。
对方的选择：
- 最终是否会被起诉还取决于对方的选择。即使您存在违约行为，且给对方造成了实际损失，对方仍然有权选择是否通过法律途径来解决纠纷。对方可能会考虑诉讼成本、时间成本、证据收集难度等因素来做出决定。
建议：
- 审查合同：首先，建议您仔细审查与中介签订的贷款合同，了解其中的违约责任条款和争议解决方式。
- 与对方协商：如果您不想继续贷款，且担心被起诉，可以尝试与中介进行协商，看是否能够达成一致意见，如解除合同、支付一定的违约金等。
- 寻求法律帮助：如果您对合同条款或违约责任有疑问，或者担心自己可能面临法律纠纷，建议您寻求专业的法律帮助。我可以根据您的具体情况，为您提供更详细的法律建议和解决方案。
后续行动：
- 如果您决定与中介协商，请确保保留好所有相关的沟通记录和证据，以备不时之需。
- 如果您收到法院的传票或其他法律文书，请务必及时与我联系，以便我能够为您提供及时的法律帮助和辩护。
总之，是否会被起诉取决于多种因素，包括合同条款、实际损失和对方的选择等。如果您对此有任何疑问或担忧，请随时向我咨询，我会根据您的具体情况为您提供专业的法律建议。