结论：签了委托贷款协议后不想继续贷款并面临违约金问题，能否免除或减少违约金，主要取决于协议中的具体条款、违约原因以及相关法律法规的规定。以下是从不同角度对此问题的详细分析：
一、协议条款的审查
违约金条款的具体内容：
- 首先，需要仔细审查委托贷款协议中关于违约金的条款。这包括违约金的计算方式、支付条件以及是否存在免除或减少违约金的情形。
- 如果协议中明确规定了在某些情况下可以免除或减少违约金，那么当这些情况发生时，你可以依据协议条款主张免除或减少违约金。
协议的合法性与有效性：
- 确保协议本身是合法有效的，没有违反法律法规的强制性规定。如果协议存在违法或无效的情形，那么其中的违约金条款也可能被视为无效。
二、违约原因的分析
不可抗力或意外事件：
- 如果因为不可抗力（如自然灾害、战争等）或意外事件导致你无法继续履行贷款协议，那么根据相关法律法规，你可能可以主张免除或减少违约金。
- 在这种情况下，你需要提供充分的证据证明违约是由于不可抗力或意外事件造成的。
对方违约在先：
- 如果贷款方在协议履行过程中存在违约行为，导致你无法继续履行贷款协议，那么你也可以主张免除或减少违约金。
- 在这种情况下，你需要收集并保存对方违约的证据，以便在争议解决过程中证明自己的主张。
三、法律法规的适用
《民法典》的相关规定：
- 根据《民法典》中关于合同违约的规定，如果违约金过高或过低，当事人可以请求人民法院或仲裁机构予以适当调整。
- 因此，如果你认为协议中规定的违约金过高，可以依据《民法典》的规定请求调整。
金融监管政策的影响：
- 金融监管政策也可能对违约金的收取产生影响。例如，某些地区或行业可能出台了限制违约金收取的政策或规定。
- 在这种情况下，你可以查阅相关政策或规定，以确定自己是否可以依据这些政策或规定主张免除或减少违约金。
四、实际操作建议
与贷款方协商：
- 在面临违约金问题时，首先建议与贷款方进行协商，尝试达成和解协议。通过协商，你可以表达自己的困难和诉求，并寻求贷款方的理解和支持。
- 如果双方能够达成一致意见，那么可以签订和解协议，明确违约金的支付方式、金额以及时间等条款。
寻求法律援助：
- 如果协商无果，或者你认为自己的权益受到了侵害，那么可以寻求法律援助。你可以咨询专业律师（如我），了解自己的法律权益和可能的救济途径。
- 在法律援助过程中，律师会帮助你分析协议条款、违约原因以及相关法律法规的适用情况，并为你提供具体的法律建议和操作方案。
准备证据材料：
- 在处理违约金问题时，证据材料至关重要。你需要收集并保存与贷款协议、违约原因以及相关法律法规有关的证据材料。
- 这些证据材料可以包括协议文本、通信记录、支付凭证、照片、视频等。在争议解决过程中，这些证据材料将有助于证明你的主张和权益。
最后，面对签了委托贷款协议后不想继续贷款并面临违约金的问题，你需要从协议条款、违约原因、法律法规以及实际操作等多个角度进行分析和处理。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。