能否要回被扣的违约金，需根据具体情况判断，主要取决于违约金的约定是否合法合理以及是否存在法定或约定的调整情形。以下分情况详细说明：

1. 违约金约定过高或过低，可请求法院或仲裁机构调整
   根据《民法典》第五百八十五条，若违约金“过分高于造成的损失”，当事人可请求法院或仲裁机构予以减少；若“低于造成的损失”，可请求增加。

   • 判断标准：通常以实际损失为基础，兼顾合同履行情况、当事人过错程度等因素。例如，若您因轻微违约被扣高额违约金（如合同金额的50%），而对方实际损失仅10%，则可能被认定为“过分高于”，可主张调减。
     
   • 操作建议：收集证据证明实际损失（如对方提供的损失清单、第三方评估报告等），向法院或仲裁机构提出调整申请。

2. 对方存在违约行为，您可主张违约金无效或抵扣
   若对方在合同履行中也有违约行为（如未按时交付货物、服务质量不达标等），您可主张：

   • 违约金无效：若对方违约在先，其扣减您违约金的条款可能因“权利义务不对等”被认定为无效；
     
   • 相互抵扣：根据《民法典》第五百九十二条，双方均违约的，应各自承担相应责任，您可要求将对方应支付的违约金与您被扣的违约金进行抵扣。
     
   • 操作建议：固定对方违约证据（如聊天记录、验收报告、照片等），在诉讼或协商中提出抗辩。

3. 合同无效或被撤销，违约金条款随之无效
   若合同因存在欺诈、胁迫、重大误解、违反法律强制性规定等情形被认定无效或被撤销，违约金条款也无效，您可要求返还已支付的违约金。

   • 操作建议：收集合同无效的证据（如对方虚假宣传的资料、胁迫的录音等），向法院起诉确认合同无效并主张返还。

4. 对方未实际损失，您可主张返还
   若违约金约定虽合法，但对方未因您的违约行为产生实际损失（如对方未因您延迟交货而遭受客户索赔），您可主张返还部分或全部违约金。

   • 操作建议：要求对方提供损失证明，若对方无法提供，可主张违约金“无损失支撑”而要求返还。

温馨提示：违约金纠纷需结合合同条款、实际履行情况、双方过错程度等综合判断，建议优先与对方协商，协商不成可收集证据（如合同、付款记录、沟通记录、损失证明等）通过诉讼或仲裁解决。若您有具体案件细节，可直接向我咨询，我会为您详细分析。