客人遗忘在饭店的财物，饭店工作人员不退还是违法的。以下从不同角度为您详细分析：

法律义务角度

根据《民法典》的相关规定，饭店作为公共场所的管理者，对顾客遗忘在其场所内的财物负有保管义务。具体来说：

• 《民法典》第312条第一款规定：所有权人或者其他权利人有权追回遗失物。这意味着，顾客作为财物的所有权人，有权要求饭店归还其遗忘的财物。
• 《民法典》第316条规定：拾得人在遗失物送交有关部门前，有关部门在遗失物被领取前，应当妥善保管遗失物。因故意或者重大过失致使遗失物毁损、灭失的，应当承担民事责任。饭店工作人员作为拾得人（或管理人），在顾客未领取财物前，有义务妥善保管，不得故意或重大过失导致财物毁损、灭失。

刑事责任角度

如果饭店工作人员将顾客的遗忘物非法占为己有，数额较大且拒不退还，还可能构成侵占罪。根据《刑法》第270条的规定：

• 将代为保管的他人财物非法占为己有，数额较大，拒不退还的，处二年以下有期徒刑、拘役或者罚金；
• 数额巨大或者有其他严重情节的，处二年以上五年以下有期徒刑，并处罚金。
• 将他人的遗忘物或者埋藏物非法占为己有，数额较大，拒不交出的，也依照前款的规定处罚。但需要注意的是，本条罪是告诉的才处理，即需要顾客自行向法院提起诉讼。

实际建议角度

1. 与饭店协商：首先，您可以尝试与饭店工作人员或负责人进行协商，要求其归还遗忘的财物。在协商过程中，保持冷静和理性，明确表达自己的诉求和法律依据。
2. 寻求法律帮助：如果协商无果，您可以考虑向当地公安机关报案或向法院提起诉讼。在报案或起诉前，建议收集好相关证据，如就餐发票、证人证言等，以支持自己的诉求。
3. 注意财物安全：为了避免类似情况的发生，建议您在就餐或离开饭店时，仔细检查自己的财物是否齐全。如果发现财物遗忘，应立即返回饭店寻找或联系饭店工作人员协助查找。

案例参考：有类似案例显示，饭店老板因侵占顾客遗忘物而被判刑。在该案例中，顾客遗忘在饭店的包内有手机、现金、车钥匙、证件等物品。顾客发现后立即返回饭店寻找，但饭店老板却坚称没看到包。最终，法院认定饭店老板的行为构成侵占罪，并依法对其进行了处罚。

综上所述，客人遗忘在饭店的财物，饭店工作人员不退还是违法的。如果您遇到类似情况，建议先与饭店协商解决；协商无果的，可以考虑寻求法律帮助来维护自己的合法权益。