针对您提出的“工人捡到饭卡不归还怎么处理”的问题，这确实是一个涉及道德与法律双重层面的问题。以下是我为您提供的详细解答：
首先，从道德层面来看，“拾金不昧”是中华民族的传统美德，也是社会公德的重要组成部分。当工人捡到饭卡时，应该积极寻找失主并归还，这是体现个人诚信和道德品质的重要行为。
其次，从法律层面分析，根据《中华人民共和国民法典》的相关规定，拾得遗失物应当返还权利人。拾得人应当及时通知权利人领取，或者送交公安等有关部门。这意味着，如果工人捡到饭卡后拒绝归还，就侵犯了失主对该饭卡的所有权，失主有权要求其归还。
进一步地，如果工人将捡到的饭卡非法占为己有，并且数额较大（虽然饭卡本身价值可能不大，但若卡内余额较多或存在其他附加价值，如特定场所的消费权限等，可能构成“数额较大”的情形），且拒绝交出，这种行为还可能构成犯罪，即侵占罪。根据《中华人民共和国刑法》的相关规定，将他人的遗忘物非法占为己有，数额较大，拒不交出的，可能会受到刑事处罚。
针对这种情况，我建议您采取以下措施：
尝试直接沟通：如果可能的话，您可以尝试与捡到饭卡的工人进行直接沟通，说明情况并请求其归还。
联系相关部门：如果直接沟通无果，您可以联系工厂的管理部门或人力资源部门，请求他们协助处理此事。他们可能会通过内部调查或公告等方式帮助您找回饭卡。
报警处理：如果上述方法均无效，且您认为工人的行为已经构成了侵占或盗窃等违法行为，您可以向当地公安机关报案。公安机关将会依法进行调查处理。
总之，工人捡到饭卡不归还是既违反道德又可能违反法律的行为。您应该积极采取措施维护自己的合法权益，同时也希望广大工人能够自觉遵守道德规范和法律法规，共同营造一个和谐、诚信的社会环境。