如你认为借款存在违规操作，应先核实借款合同的合法性及违规操作的真实性，再决定如何处理剩余的两万元借款。

一. 核实借款合同的合法性

1. 检查合同条款：首先，仔细审查借款合同中的所有条款，特别是关于借款金额、利率、还款方式、违约责任等方面的约定，确保合同内容合法且明确。
2. 对比法律法规：将合同条款与《民法典》中关于借款合同的相关规定进行对比，检查是否存在违反法律法规的情况。例如，根据《民法典》第六百八十条，禁止高利放贷，借款的利率不得违反国家有关规定。

二. 核实违规操作的真实性

1. 要求证据：如果对方声称你存在违规操作，应要求其提供确凿的证据来证明这一点。例如，具体的违规操作记录、系统日志等。
2. 自查操作：同时，你也可以自查自己的借款及还款记录，确认是否存在对方所指的违规操作。

三. 处理剩余借款

1. 若合同合法且不存在违规操作：

   • 你应按照借款合同的约定，继续履行还款义务，包括剩余的两万元借款。
   • 如果确实存在还款困难，可以与对方协商调整还款计划或寻求其他解决方案。

2. 若合同存在违法或违规操作属实：

   • 你可以向相关部门（如银保监会、市场监管部门）举报对方的违法行为。
   • 在此情况下，你可能有权暂停还款，直至问题得到妥善解决。但请注意，这一决定应基于充分的法律依据和证据支持。
   • 我建议你在此过程中咨询专业律师，以确保你的权益得到充分保护。

四. 后续行动建议

• 无论结果如何，都应保留好所有与借款、还款及沟通相关的证据和记录。
• 如有进一步需要，你可以继续咨询我，以便根据具体情况提供更详细的法律建议。

在处理此类问题时，请务必保持冷静和理性，不要被对方的威胁或恐吓所影响。同时，也要时刻关注自己的合法权益，确保不会受到不公正的对待。