结论：是否会被起诉取决于多个因素，包括违约金的约定是否合法、律师是否有权要求支付以及您拒绝支付的具体理由等。以下从不同角度进行分析：
一、违约金的合法性
合同约定：首先，需要查看您与律师签订的委托合同中是否明确约定了违约金条款，以及该条款的具体内容。如果合同中有明确约定，且违约金数额合理（通常不超过实际损失的30%），那么该违约金条款是合法的。
法律规定：根据《中华人民共和国民法典》的相关规定，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。但是，约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。
二、律师是否有权要求支付违约金
合同履行情况：如果律师已经按照合同约定提供了服务，而您因个人原因要求解除合同或拒绝继续履行，且合同中有违约金条款，那么律师有权要求您支付违约金。
律师行为合规性：如果律师在提供服务过程中存在违约行为，如未按时提供服务、服务质量不符合约定等，那么您有权拒绝支付违约金，并可以要求律师承担相应的违约责任。
三、您拒绝支付违约金的可能后果
被起诉风险：如果律师认为您拒绝支付违约金的行为构成违约，且合同中有明确的违约金条款，那么律师有权向法院提起诉讼，要求您支付违约金及可能产生的诉讼费用。
协商解决：在律师提起诉讼之前，双方通常还有协商解决的空间。您可以尝试与律师沟通，说明您拒绝支付的具体理由，并寻求双方都能接受的解决方案。
法院判决：如果案件进入诉讼程序，法院将根据双方提供的证据和法律规定进行判决。如果法院认定您构成违约，且违约金条款合法有效，那么您可能需要支付违约金及诉讼费用。
四、建议
审查合同：首先，仔细审查您与律师签订的委托合同，了解违约金条款的具体内容。
沟通协商：尝试与律师进行沟通，说明您的情况和拒绝支付的理由，寻求双方都能接受的解决方案。
寻求法律帮助：如果您对合同条款或律师的要求有疑问，或者认为律师的行为存在不当之处，可以向我咨询，我会根据您的具体情况提供专业的法律意见。
总结：是否会被起诉取决于多个因素，包括违约金的合法性、律师是否有权要求支付以及您拒绝支付的具体理由等。建议您先审查合同条款，与律师进行沟通协商，并在必要时寻求专业的法律帮助。如果您有任何疑问或需要进一步的法律咨询，请直接向我提问。