遗弃罪确实必须针对家庭成员，但这里的“家庭成员”应理解为法律上负有扶养义务且没有独立生活能力的人。以下是对这一问题的详细解析：
一、遗弃罪的犯罪构成要件
主体要件：
- 遗弃罪的主体为特殊主体，即对被遗弃者负有法律上扶养义务且具有扶养能力的人。这种扶养义务基于婚姻、家庭关系产生，包括法定的扶养、抚养和赡养义务。例如，夫妻间有相互扶养的义务，父母对未成年子女有抚养教育的义务，成年子女对父母有赡养扶助的义务等。若行为人无扶养义务或不具备扶养能力，则不构成此罪。
主观要件：
- 遗弃罪在主观方面表现为故意，即明知自己应履行扶养义务而拒绝扶养。这种故意是行为人有意识地不履行扶养义务，动机可能多样，如嫌弃被扶养人年老、患病、残疾或为了逃避经济负担等，但动机不影响本罪的成立。
客体要件：
- 遗弃罪侵犯的客体是被害人在家庭成员中的平等权利以及家庭成员之间互相扶养的权利义务关系。遗弃行为往往使被害人的生活陷入困境，基本生活需求得不到保障，严重影响其生存和发展。
客观要件：
- 遗弃罪在客观方面表现为对年老、年幼、患病或其他没有独立生活能力的人，应当扶养而拒不扶养，且情节恶劣的行为。这里的“没有独立生活能力”的人，是指因年老、年幼、患病或其他原因导致无法独立维持正常生活的人。行为人需具备扶养能力却拒绝履行，即经济上有能力满足最低生活标准外还有余裕，但仍不承担扶养责任。
二、“情节恶劣”的司法认定
在司法实践中，遗弃行为被视为情节恶劣的情形包括但不限于：
- 长期不予照顾，不提供基本生活来源；
- 驱赶、逼迫被害人离家，导致其流离失所或生存困难；
- 遗弃患严重疾病或生活不能自理的被害人；
- 遗弃行为造成被害人身体严重损害或其他严重后果。
三、法律后果
根据《中华人民共和国刑法》第二百六十一条的规定，对于负有扶养义务而拒绝扶养年老、年幼、患病或其他没有独立生活能力的人，且情节恶劣的，将处以五年以下有期徒刑、拘役或者管制。
四、特别说明与案例
- 夫妻间同样存在遗弃罪的可能。当一方在另一方需要照顾时，无正当理由地离开，不履行夫妻间的扶养义务，也可能构成遗弃罪。例如，一方因患病或受伤需要长期照顾，而另一方却离家出走，不闻不问，这种行为就可能构成遗弃罪。
- 判断是否构成遗弃罪的关键在于：是否存在负有扶养义务的人拒绝扶养特定家庭成员，并且这种行为是否达到了情节恶劣的程度。例如，将无自理能力的老人赶出家门、对患病的家庭成员不管不顾、不提供必要的生活条件或医疗照顾等，都可能构成遗弃罪。
总结来说，遗弃罪确实必须针对家庭成员，但这里的“家庭成员”应理解为法律上负有扶养义务且没有独立生活能力的人。对于任何形式的遗弃行为，法律都将给予严厉的制裁。如果您或您身边的人遭遇此类问题，可以直接向我咨询，我将根据您的具体情况提供专业的法律建议。