遗弃罪的判定并不完全取决于行为人是否有钱，而是主要取决于行为人是否具有抚养义务且拒不履行职责，以及这一行为是否产生了恶劣的社会影响。
具体来说，遗弃罪是指对老年人、未成年人、患病的人或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的行为。这里的关键在于“负有扶养义务而拒绝扶养”和“情节恶劣”。
扶养义务：这是指法律上规定的或者事实上形成的对特定人的扶养责任。比如，父母对未成年子女有扶养义务，成年子女对无劳动能力或生活困难的父母有扶养义务等。
拒绝扶养：这是指有能力履行扶养义务但拒不履行。如果行为人确实没有能力履行扶养义务，比如因为经济极度困难、自身也患有严重疾病等，那么即使其没有履行扶养义务，也不一定能构成遗弃罪。但如果行为人明明有能力却故意选择不扶养，那么就可能构成遗弃罪。
情节恶劣：这是指拒绝扶养的行为造成了严重的后果，比如被扶养人因为得不到应有的扶养而生活极度困难、身体健康受到严重损害，甚至死亡等。
因此，遗弃罪的判定并不是简单地看行为人有没有钱，而是要看其是否具有扶养义务、是否拒绝扶养以及这一行为是否情节恶劣。如果行为人确实因为经济困难而无法履行扶养义务，但积极寻求其他解决方案，比如寻求社会救助、亲友帮助等，那么其行为可能并不构成遗弃罪。但如果行为人有钱却故意不扶养，或者虽然没钱但拒绝寻求其他解决方案，导致被扶养人生活极度困难，那么其行为就可能构成遗弃罪，并面临相应的法律责任。
如果你在这方面有具体的法律问题或者需要更详细的解释，可以直接向我咨询。