服务员打扫卫生把客人的奶茶扔了，一般情况下是需要赔偿的，但具体是否赔偿及赔偿金额需根据实际情况来判断。以下是从不同角度进行的分析：
侵权责任角度：
- 服务员在打扫卫生时，未经客人允许擅自将奶茶扔掉，这构成了对客人财产权的侵害。根据《中华人民共和国民法典》中关于侵权责任的规定，侵害他人财产的，财产损失按照损失发生时的市场价格或者其他合理方式计算。因此，客人有权要求服务员或其所在单位（如餐厅）进行赔偿。
合同关系角度：
- 如果客人是在餐厅等消费场所消费，那么客人与餐厅之间就形成了一种服务合同关系。餐厅有义务提供安全、整洁的消费环境，并妥善保管客人的财物。服务员作为餐厅的员工，其行为应视为餐厅的行为。因此，如果服务员因过失导致客人财物损失，餐厅应承担相应的赔偿责任。
赔偿金额的确定：
- 赔偿金额通常应根据奶茶的实际价值来确定。如果奶茶是刚购买不久且未饮用过的，那么赔偿金额应接近其购买价格。如果奶茶已经饮用过一部分，那么赔偿金额应相应减少。此外，如果客人能提供购买奶茶的发票或其他证据来证明其价值，那么这将有助于确定赔偿金额。
特殊情况考虑：
- 如果服务员在扔掉奶茶前已经尽到了合理的询问或告知义务（如询问客人是否还需要该物品），但客人未给予明确答复或表示不再需要，那么服务员的行为可能不构成侵权，餐厅也可能因此无需承担赔偿责任。然而，这种情况在实际操作中较为少见，且需要服务员提供充分的证据来证明其已经尽到了合理的义务。
建议：
- 如果客人遇到了这种情况，首先应与餐厅进行协商，尝试通过友好沟通解决问题。
- 如果协商无果，客人可以考虑向消费者协会或相关监管部门投诉，以维护自己的合法权益。
- 在必要时，客人还可以寻求法律援助或提起诉讼，通过法律途径来解决问题。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供专业的法律意见。