结论：在全屋定制服务中，若商家不履行售后和质保义务，且双方未签订合同的情况下，您扣押尾款的行为不一定合法，需根据具体情况判断。以下从不同角度进行分析：
一、合同关系的认定
书面合同缺失：虽然双方未签订书面合同，但根据《民法典》的相关规定，口头合同同样具有法律效力，只要双方意思表示真实，且内容不违反法律、行政法规的强制性规定。因此，若您能提供其他证据（如聊天记录、转账记录、商家宣传资料等）证明双方存在全屋定制的合同关系，以及商家承诺的售后和质保服务，则合同关系成立。
合同内容与履行：在合同关系成立的前提下，商家有义务按照约定提供售后和质保服务。若商家未履行这些义务，则构成违约。
二、扣押尾款的合法性
合法抗辩权：在商家违约的情况下，您作为消费者，有权根据《民法典》的相关规定，行使抗辩权，拒绝支付尾款或要求商家承担违约责任。然而，直接扣押尾款并非法律规定的合法抗辩方式。更合理的做法是通过协商、投诉、诉讼等途径要求商家履行义务或赔偿损失。
非法扣押的风险：若您未经商家同意，擅自扣押尾款，可能构成对商家财产权的侵害。商家有权要求您返还尾款，并可能因此向您主张赔偿损失。在极端情况下，若您的行为被认定为恶意拖欠或侵占，还可能面临法律责任。
三、建议与措施
收集证据：首先，您应尽可能收集与商家之间的交易记录、沟通记录、宣传资料等证据，以证明双方存在合同关系以及商家承诺的售后和质保服务。
协商与投诉：在收集到足够证据后，您可以尝试与商家进行协商，要求其履行售后和质保义务。若协商无果，您可以向消费者协会、市场监管部门等投诉，寻求帮助。
法律途径：若商家仍拒绝履行义务，您可以考虑通过法律途径解决纠纷。您可以向法院提起诉讼，要求商家承担违约责任并赔偿损失。在诉讼过程中，您需要提供充分的证据证明商家的违约行为以及您因此遭受的损失。
四、特殊情况考虑
总结：在全屋定制服务中，若商家不履行售后和质保义务，且双方未签订合同的情况下，您扣押尾款的行为并不一定合法。建议您通过收集证据、协商投诉或法律途径等合法方式维护自己的权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。