结论：买房先付6万首付再让卖家退回现金贷款给卖家的行为，其合法性及卖家是否承担责任，需根据具体操作方式及双方约定来判断，但此类操作存在较大法律风险，很可能被认定为不合法，且卖家可能因此承担相应责任。
分析说明：
合法性判断：
- 正常交易流程：在正常的房屋买卖交易中，买方支付首付后，剩余款项通常通过银行贷款方式支付给卖方。这一流程是合法且受法律保护的。
- 异常操作风险：若买方支付首付后，要求卖家退回现金贷款，这实际上可能构成了一种“虚假交易”或“套取贷款”的行为。这种行为可能违反了银行贷款的相关规定，也可能触犯了法律中关于欺诈、非法集资等条款，因此是不合法的。
卖家责任：
- 知情并参与：如果卖家明知买方的这种操作意图，并积极参与其中，那么卖家可能构成共同违法或犯罪，需要承担相应的法律责任。
- 不知情但受损：即使卖家最初不知情，但如果因此遭受了经济损失（如买方未能按时支付剩余房款），卖家也有权通过法律途径追究买方的责任。
具体风险点：
- 贷款合同违约：买方可能因无法按时偿还“退回”的贷款而违反与银行的贷款合同，导致个人信用受损，甚至面临法律诉讼。
- 房屋买卖合同违约：若买方因资金问题无法继续履行房屋买卖合同，卖家有权要求买方承担违约责任，包括赔偿损失等。
- 法律制裁：如上述行为被认定为违法或犯罪，相关当事人可能面临罚款、拘留甚至刑事处罚等法律制裁。
法律建议：
- 遵守法律法规：在进行房屋买卖交易时，务必遵守相关法律法规和银行贷款规定，不要尝试通过异常操作来规避监管或获取不当利益。
- 明确约定：双方应在房屋买卖合同中明确约定付款方式、时间等关键条款，并确保这些条款符合法律法规要求。
- 咨询专业人士：如有任何疑问或不确定之处，应及时咨询专业律师或银行工作人员，以确保交易的合法性和安全性。
后续行动指南：
- 如果您已经参与了此类交易或面临相关法律问题，建议立即停止相关操作，并尽快咨询专业律师以了解您的法律权利和义务。
- 在与卖家或银行沟通时，务必保持诚实和透明，不要隐瞒或歪曲事实真相。
如有任何进一步的问题或需要法律帮助，请直接向我咨询。