不可以直接起诉女方遗弃罪。下面是对此问题的详细分析：
一. 遗弃罪的构成要件
- 主体要件：遗弃罪的主体必须是负有扶养义务的人，即与被遗弃人具有法定的扶养关系。夫妻之间确实存在扶养义务，但这并不是构成遗弃罪的唯一条件。
- 行为要件：遗弃罪要求行为人对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，且情节恶劣。仅仅因为女方不给工资卡，并不足以证明她拒绝扶养。
- 结果要件：遗弃行为必须达到情节恶劣的程度，才能构成遗弃罪。如因遗弃而使被害人的生命、健康受到严重威胁或损害，或者导致被害人生活无着、流离失所等。
二. 本案分析
- 在本案中，丈夫有病，女方不给工资卡并不直接等同于拒绝扶养。扶养不仅仅包括经济上的支持，还包括生活上的照顾、精神上的慰藉等。
- 如果没有其他证据表明女方在丈夫患病期间完全不管不顾，甚至恶意遗弃，那么仅凭不给工资卡这一行为，是很难认定女方构成遗弃罪的。
三. 法律建议
- 我建议，如果丈夫认为女方在扶养方面存在不足或问题，可以先通过沟通、协商或调解等方式解决。
- 如果确实存在严重的扶养问题，且协商无果，丈夫可以考虑通过法律途径维护自己的权益，比如提起民事诉讼，要求女方履行扶养义务。
- 但需要注意的是，遗弃罪的认定是非常严格的，必须有充分的证据证明女方存在拒绝扶养且情节恶劣的行为，否则很难成立。
综上所述，仅仅因为女方不给工资卡，并不能直接起诉女方遗弃罪。如有进一步需要，您可以继续咨询我。