针对您的情况，结论前置如下：
乙方违约，您有权要求其承担违约责任：乙方在支付定金后无故不要桂花树，构成违约，您有权依据定金罚则要求其承担违约责任，即您有权没收定金或要求乙方支付违约金（如果合同中有约定）。
您可以考虑继续履行合同或解除合同：根据实际情况，您可以选择要求乙方继续履行合同，接收桂花树并支付剩余款项；或者解除合同，并要求乙方赔偿因此造成的损失。
详细分析如下：
一、乙方违约责任的承担
根据《中华人民共和国民法典》的相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。在您与乙方的合同中，乙方支付定金后无故不要桂花树，显然构成了违约。
定金罚则：如果合同中明确约定了定金条款，且乙方违约，您有权依据定金罚则没收乙方支付的定金。定金罚则是指，给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。但在此情况下，您作为收受定金的一方，因乙方违约，您有权没收定金。
违约金：如果合同中除了定金外，还约定了违约金条款，且乙方的违约行为符合违约金支付条件，您还可以要求乙方支付违约金。但需要注意的是，定金和违约金一般不能同时主张，除非合同中有特别约定或法律另有规定。
二、合同的继续履行或解除
继续履行：如果您认为乙方还有继续履行合同的可能性，且您也希望继续履行合同，您可以要求乙方继续接收桂花树并支付剩余款项。如果乙方拒绝，您可以考虑通过法律途径强制其履行。
解除合同：如果您认为乙方已经明确表示或以其行为表明不再履行合同，或者继续履行合同已经没有实际意义，您可以考虑解除合同。解除合同后，您可以要求乙方赔偿因此造成的损失，包括但不限于桂花树的降价损失、运输费用的损失等。
三、实际操作建议
与乙方协商：在采取法律行动之前，建议您先与乙方进行协商，尝试通过友好方式解决纠纷。您可以明确告知乙方其违约行为及可能承担的法律责任，并尝试达成一个双方都能接受的解决方案。
收集证据：如果协商无果，您需要开始收集相关证据，包括合同、定金收据、与乙方的沟通记录等，以证明乙方的违约行为及您的损失情况。
寻求法律帮助：如果您需要进一步的法律帮助或建议，可以直接向我咨询。我可以根据您的具体情况，为您提供更详细的法律分析和操作建议。
最后，希望以上分析能对您有所帮助。如果您有任何其他问题或需要进一步的法律帮助，请随时向我提问。