结论：贷款方未经您同意擅自扣除5万元的行为，可能构成侵权或违约，您有权通过法律途径追回该款项并要求赔偿损失。以下从不同角度为您详细分析：
一、法律关系分析
合同关系
若您与贷款方签订了书面贷款合同，需首先审查合同中是否约定了“扣款权限”条款（如逾期罚息、违约金等）。
- 若合同无约定：贷款方擅自扣款属于违约行为，您可依据《民法典》第五百七十七条要求其返还款项并赔偿损失。
- 若合同有约定：需进一步分析扣款条件是否成就（如您是否确实存在逾期等违约行为）。若扣款条件未成就或扣款金额超出约定范围，贷款方仍构成违约。
侵权关系
即使合同存在扣款约定，贷款方也需遵守《民法典》关于“财产权保护”的规定（第一千一百六十五条）。若扣款行为缺乏合法依据（如未通知您、扣款金额不合理等），可能构成对您的财产权侵害，您可主张侵权责任。
二、维权步骤建议
固定证据
- 保存贷款合同、扣款记录（银行流水、短信通知等）、与贷款方的沟通记录（录音、聊天记录等）。
- 若扣款与贷款无关（如被误扣、贷款方私自挪用资金），需额外证明款项性质（如贷款用途证明、资金流向等）。
协商或投诉
- 优先与贷款方协商，要求书面说明扣款原因并返还款项。
- 若协商无果，可向当地银保监会（针对银行）或地方金融监管局（针对小额贷款公司）投诉，要求介入调查。
诉讼或仲裁
- 诉讼：向法院提起民事诉讼，主张返还财产、赔偿损失（如利息损失、维权成本等）。
- 仲裁：若合同约定了仲裁条款，需按约定申请仲裁。
- 注意时效：民事诉讼时效为3年，自您知道或应当知道权利受损之日起计算。
三、可能面临的法律后果
贷款方责任
- 若法院认定扣款违法，贷款方需返还5万元及占用期间的利息（按LPR计算，公式：
利息=50000×LPR×占用天数÷365）。
- 若扣款导致您其他损失（如逾期还款产生的罚息、信用受损等），可一并主张赔偿。
您的责任
- 若法院查明您存在违约行为（如逾期未还款），且扣款金额合理，您可能需承担部分诉讼费用或按合同约定接受扣款结果。
- 若您恶意诉讼（如虚构事实），可能面临罚款、拘留等司法制裁。
四、特殊情形提示
- 刑事风险：若贷款方通过伪造合同、虚构债务等方式扣款，可能涉嫌诈骗罪或盗窃罪，您可向公安机关报案。
- 执行问题：若贷款方拒不履行生效判决，您可申请法院强制执行（如冻结账户、查封财产等）。
建议：尽快委托律师介入，通过法律程序固定证据、主张权利。若需进一步分析合同条款或计算具体损失，可直接向我咨询。