结论：不离职就不给退饭卡的行为，是否违法需分情况讨论，不能一概而论。

分析如下：

1. 若饭卡费用属于员工福利，且公司规章制度或劳动合同中有明确规定：

   • 如果公司规章制度或劳动合同中明确规定了饭卡的使用规则，包括离职时饭卡的退还或费用结算方式，且这些规定不违反法律法规的强制性规定，那么公司按照这些规定执行，不离职就不给退饭卡的行为，通常不构成违法。因为员工在入职时已经同意了这些规定，双方形成了合同关系，公司有权按照约定执行。

2. 若饭卡费用属于员工工资的一部分，或公司规章制度、劳动合同中无相关规定：

   • 如果饭卡费用实际上是从员工工资中扣除的，或者公司规章制度、劳动合同中并未明确规定离职时饭卡的退还或费用结算方式，那么公司不离职就不给退饭卡的行为，可能涉嫌违法。因为根据《劳动法》等相关法律法规，员工有权获得其应得的工资和福利，公司不得无故克扣或拖欠。在这种情况下，员工有权要求公司退还饭卡中的余额或相应费用。

法律建议：

• 对于员工：如果遇到公司不离职就不给退饭卡的情况，首先应查看公司规章制度和劳动合同中的相关规定。如果规定不明确或存在争议，可以与公司进行协商，要求公司退还饭卡中的余额或相应费用。如果协商无果，可以向当地劳动监察部门投诉或寻求法律援助。
• 对于公司：为了避免类似的纠纷，公司应在规章制度和劳动合同中明确规定饭卡的使用规则，包括离职时饭卡的退还或费用结算方式。同时，公司应确保这些规定不违反法律法规的强制性规定，并尊重员工的合法权益。

可能后果：

• 如果公司不离职就不给退饭卡的行为被认定为违法，公司可能需要承担退还饭卡余额或相应费用的法律责任，并可能面临劳动监察部门的处罚。
• 如果员工因此与公司发生纠纷，可能会影响公司的声誉和员工关系，甚至可能引发劳动争议或诉讼。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。