结论：能否退回被扣的328元，需根据具体情况判断，包括扣款原因、扣款主体、是否存在合同关系及合同条款等。以下从不同角度进行分析：
一、若扣款为未经授权或存在欺诈行为
法律背景：
- 根据《中华人民共和国民法典》的相关规定，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。若商家或第三方未经您同意，擅自扣款，可能构成对您的财产权的侵害。
- 同时，若扣款行为涉及欺诈，如虚假宣传、误导消费等，您还有权依据《中华人民共和国消费者权益保护法》的相关规定，要求商家承担赔偿责任。
法律建议：
- 立即联系扣款方，要求解释扣款原因，并要求退款。
- 若扣款方拒绝退款或无法联系，可向当地消费者协会或市场监管部门投诉，寻求帮助。
- 保留好相关证据，如扣款记录、交易凭证、沟通记录等，以备后续维权使用。
二、若扣款为基于合同关系
法律背景：
- 若您与扣款方之间存在合同关系，如订阅服务、购买商品等，且合同中明确约定了扣款条款，则扣款可能属于合法行为。
- 但即便如此，扣款方也需按照合同约定履行义务，如提供相应服务或商品。若扣款方未履行或未完全履行义务，您仍有权要求退款或寻求其他救济。
法律建议：
- 仔细审查与扣款方之间的合同条款，了解扣款的具体原因和依据。
- 若认为扣款不合理或扣款方未履行合同义务，可与扣款方协商退款或寻求其他解决方案。
- 若协商无果，可考虑通过法律途径解决纠纷，如向法院提起诉讼或申请仲裁。
三、若扣款为银行或支付平台误扣
法律背景：
- 银行或支付平台在处理交易时，可能因系统故障、操作失误等原因导致误扣款项。
- 根据《中华人民共和国商业银行法》和《非银行支付机构网络支付业务管理办法》等相关规定，银行或支付平台有义务确保交易的安全和准确，对于误扣款项应及时退还。
法律建议：
- 立即联系银行或支付平台客服，说明情况并要求退款。
- 提供相关证据，如交易记录、扣款通知等，以加快退款进程。
- 若银行或支付平台拒绝退款或处理不当，可向当地银保监会或支付清算协会投诉。
四、特殊情况：未成年人扣款
法律背景：
- 若扣款行为由未成年人实施，且未经其法定监护人同意，则该扣款行为可能无效。
- 根据《中华人民共和国民法典》的相关规定，八周岁以上的未成年人为限制民事行为能力人，实施民事法律行为由其法定代理人代理或者经其法定代理人同意、追认。
法律建议：
- 立即联系扣款方，说明情况并要求退款。
- 提供相关证据，如未成年人的身份证明、扣款记录等。
- 若扣款方拒绝退款，可考虑通过法律途径解决纠纷，如向法院提起诉讼。
后续行动建议：
- 在处理此类纠纷时，务必保持冷静，收集并保留好相关证据。
- 根据具体情况选择合适的维权途径，如协商、投诉、诉讼等。
- 若对法律程序不熟悉或感到困惑，可直接向我咨询，我将根据您的具体情况提供专业的法律建议。