结论：在大多数情况下，公司不退饭卡钱是违法的，因为这可能侵犯员工的财产权益或违反公司与员工之间的约定。不过，也存在特殊情况，即当公司有明确且合理的规定，并且这些规定已事先告知员工时，公司不退饭卡钱可能不违法。
一般情况下的违法性分析：
侵犯财产权益：
- 员工在饭卡中充值的金额属于其个人财产。若公司无合理理由拒绝退还饭卡余额，将构成对员工财产权益的侵犯。根据《中华人民共和国民法典》中关于保护公民财产权利的规定，员工有权要求公司退还饭卡余额。
违反约定：
- 员工充值饭卡用于公司食堂消费，这实际上在公司与员工之间形成了一种默示的合同关系。当员工离职或其他合理情况下需要退还余额时，公司应依约退还。若公司无故不退，即构成违约，员工可以依据合同法的相关规定要求公司承担违约责任。
法律依据：
- 根据《中华人民共和国民法典》第九百八十五条，得利人无法律依据取得不当利益时，受损人有权请求返还。同时，虽然饭费不属于工资范畴，但《劳动合同法》也规定，用人单位不得扣押或无故拖欠劳动者的任何款项，公司无权以扣工资的方式抵消未退还的饭费。
特殊情况下的合法性分析：
有明确约定且合理：
- 如果公司在制定饭卡使用规则时，已明确规定某些情况下不予退还饭卡余额（如饭卡遗失、损坏等），并且这些规定在员工入职时已明确告知员工，员工也表示接受，那么在符合这些规定的情况下，公司不退饭卡钱可能不违法。但这种情况较为少见，且需要公司有充分的证据证明其规定的合理性和员工对规定的知情与接受。
扣除合理费用：
- 若公司能证明在管理饭卡过程中产生了合理的成本（如制卡费、管理费等），并在退还饭卡钱时按合理标准扣除了这些费用，且提供了明确的费用明细和计算依据，那么这种行为一般是合法的。但公司需要确保扣除的费用是合理且必要的，不能随意扣除。
应对措施：
协商解决：
- 首先尝试与公司人事或财务部门沟通，要求退还饭卡余额，并提供相关证据（如饭卡余额证明、充值记录等），争取通过协商解决问题。这是最直接且成本最低的方式。
申请劳动仲裁：
- 若协商无果，员工可以向当地劳动仲裁委员会申请仲裁。仲裁委员会将依法调查取证，处理纠纷，并作出裁决。劳动仲裁是解决劳动纠纷的一种有效方式，且仲裁结果具有法律效力。
提起诉讼：
- 如果劳动仲裁后问题仍未解决，员工可以向法院提起诉讼。法院将根据法律法规和案件事实进行审理，并作出判决。诉讼是维护员工权益的最后一道防线，但诉讼过程可能较为漫长且成本较高。
总结与建议：
公司不退饭卡钱在大多数情况下是违法的，员工有权要求公司退还，并可通过协商、劳动仲裁或诉讼等途径维护自己的合法权益。但在特殊情况下，如公司有明确且合理的规定，并且已事先告知员工时，公司不退饭卡钱可能不违法。因此，在处理此类问题时，员工应首先了解公司的饭卡使用规定和自己的权益情况，然后根据实际情况选择合适的维权方式。如果遇到复杂情况或不确定如何处理时，可以直接向我咨询，我会根据你的具体情况提供专业的法律建议。