饭店在具备合理合法的理由时赶客人不违法，但若无正当理由而随意驱赶，则可能构成侵权或违法。以下是对此问题的详细分析：
一、饭店有权赶客人的合法情形
客人严重违反店内规则：
- 若客人明确违反了饭店已经公示且合理合法的店内规则，如禁止吸烟、禁止携带宠物等，且不听劝阻，饭店为了维护经营秩序和其他顾客的消费体验，有权要求该客人离开。
客人干扰正常经营活动：
- 若客人的行为对饭店的正常经营活动造成了严重干扰，如大声喧哗、醉酒闹事、损坏店内设施等，影响到其他顾客的消费和饭店的交易秩序，饭店同样有权采取措施要求客人离开。
客人存在违法行为：
- 若客人在饭店内从事违法犯罪活动，如吸毒、赌博、盗窃等，饭店不仅有权立即驱赶该客人，还有义务及时报警并配合执法机关处理。
特殊安全考虑：
- 若客人处于醉酒、精神状态异常、有严重的传染性疾病、犯罪倾向或暴力危害等可能对其他顾客或饭店安全造成威胁的状况，饭店为了保障场所内的秩序与安全，可以拒绝其继续用餐或要求其离开。
二、饭店无权随意赶客人的情形
- 饭店在没有上述正当合理的理由时，不得随意驱赶客人。否则，这种行为将侵犯客人作为消费者的合法权益，包括但不限于消费选择权、公平交易权等。例如，饭店不能仅因客人穿着朴素或看起来“不顺眼”就随意驱赶。
三、饭店赶客人时的注意事项
- 方式方法：饭店在驱赶客人时，必须注意方式和方法，不能使用暴力或侮辱性的手段。任何形式的暴力或侮辱都是不合法的，且可能引发更严重的法律纠纷。
- 自身原因处理：如果是因为饭店自身的原因（如服务不佳、商品质量问题等）导致客人不满，饭店应积极解决问题，而不是简单地驱赶客人。在这种情况下，驱赶客人不仅不能解决问题，反而可能加剧矛盾，损害饭店的声誉和利益。
四、客人的维权途径
- 协商：若饭店无正当理由驱赶客人，客人可以通过与饭店协商解决纠纷，要求饭店赔礼道歉或给予一定的补偿。
- 投诉：协商不成的，客人还可以向消费者协会等相关机构投诉，寻求帮助和支持。
- 法律途径：若客人认为权益受到严重侵害，可以收集相关证据（如录音、录像、证人证言等），通过诉讼等法律途径来维护自身的合法权益。
五、法律依据
- 根据《中华人民共和国消费者权益保护法》的相关规定，经营者与消费者进行交易，应当遵循自愿、平等、公平、诚实信用的原则。饭店在驱赶客人时，必须基于合理合法的理由，并遵循相应的法律规定和程序。
总结与建议：
饭店在驱赶客人时必须基于合理合法的理由，并遵循相应的法律规定和程序。同时，客人也应了解自己的权益和维权途径，以便在遭遇不当驱赶时能够及时有效地维护自己的合法权益。如果您在饭店消费过程中遇到类似问题，可以直接向我咨询，我会根据您的具体情况提供详细的法律建议。