结论前置：视频直播购物未收到货却直接扣款的行为，若商家未按照约定履行发货义务，则属于违约行为，消费者有权要求商家承担违约责任，包括继续履行合同、支付违约金、赔偿损失等。若商家行为构成欺诈，还可能面临更严厉的法律后果。
一、商家违约行为的认定与责任承担
违约行为的认定：
- 根据《中华人民共和国民法典》第五百七十七条，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。在视频直播购物中，商家未按照约定发货，即构成违约。
责任承担方式：
- 继续履行：消费者有权要求商家继续履行合同，即尽快发货。
- 支付违约金：若商家违背发货时间承诺，需向消费者支付商品实际成交金额的百分之五作为违约金，最低不少于一元，最高不超过三十元。若商家在买家投诉成立前未主动支付违约金，还可能面临平台扣分等处罚。
- 赔偿损失：合同无明确违约金时，消费者可要求商家赔偿因违约造成的损失，如已支付款项的利息、额外费用等。若商家存在欺诈行为，根据《中华人民共和国消费者权益保护法》第五十五条，应增加赔偿消费者受到的损失，金额为购买商品价款或服务费用的三倍，不足五百元的为五百元。
二、直播平台对商家的处罚措施
直播平台依据自身规则和服务协议，对不发货的商家可采取以下措施：
- 警告与限制：初次违规，平台会发出警告并要求整改，同时可能限制部分功能，如直播时长、上新商品等。
- 罚款：对于多次违规或情节严重者，平台会处以罚款，金额根据违规情节而定。
- 清退：屡教不改、严重违规且造成恶劣影响的主播或商家，平台将终止合作关系并移除。
三、行政部门对商家的处罚
根据《中华人民共和国消费者权益保护法》和《中华人民共和国电子商务法》，行政部门对不发货的商家可采取以下措施：
- 责令改正：要求商家尽快发货，并向消费者作出合理解释和补偿。
- 罚款：情节严重的商家，行政部门将处以罚款，具体数额根据违法所得倍数或具体金额确定。
- 吊销营业执照：对于严重违法经营、损害消费者合法权益且拒不改正的商家，行政部门将吊销其营业执照。
四、消费者的维权途径与建议
- 与商家协商：首先尝试与商家沟通，了解原因并要求发货或赔偿。
- 向平台投诉：协商无果后，可向直播平台投诉，寻求平台帮助。
- 请求调解：可向消费者协会或依法成立的其他调解组织申请调解。
- 行政投诉：向有关行政部门投诉，维护自身权益。
- 提起仲裁或诉讼：根据仲裁协议提请仲裁机构仲裁，或直接向人民法院提起诉讼。
建议：
- 消费者在购买商品时，应保留好购买凭证、聊天记录等证据，以便在维权时提供有力支持。
- 发现商家不发货时，应及时维权，避免证据丢失或维权难度增加。
综上所述，视频直播购物未收到货却直接扣款的行为，若商家未按照约定履行发货义务，则构成违约，消费者有权要求商家承担违约责任。同时，商家也可能面临直播平台和行政部门的处罚。消费者应充分了解自身权益和维权途径，积极采取措施维护合法权益。若您在此过程中遇到任何法律问题，可直接向我咨询。