判断虐待家庭成员主要依据以下几个方面：
行为性质与表现：
- 虐待家庭成员通常表现为对共同生活的家庭成员实施肉体上或精神上的摧残和折磨。这包括但不限于殴打、捆绑、冻饿、有病不给治疗、强迫过度体力劳动（肉体虐待），以及咒骂、侮辱、诽谤、威胁、限制自由、凌辱人格（精神虐待）等行为。
- 例如，长期对配偶进行辱骂、殴打，或者对年迈的父母进行经济控制、限制其自由等，均可能构成虐待。
行为的频率与持续性：
- 虐待行为不是偶尔发生的孤立事件，而是具有一定的频率和持续性。它表现为一贯的、经常的、连续的行为模式。
- 偶尔的打骂或冻饿通常不被视为虐待，而更可能归类为家庭暴力的一次性事件。虐待的持续性和频繁性是认定其性质的关键因素。例如，一个月内多次对家庭成员进行辱骂、殴打，或长时间持续不给家庭成员提供足够的食物等，均可能构成虐待。
行为的后果：
- 虐待行为必须对家庭成员造成一定的伤害后果，这种伤害可以是身体上的，如淤青、软组织挫伤、残疾等；也可以是精神上的，如恐惧、焦虑、抑郁、精神失常等。
- 严重后果的存在是认定虐待行为的重要依据。例如，因长期受虐待导致家庭成员身体严重损伤或精神严重损害，甚至自杀或死亡等，均属于虐待的严重后果。
家庭成员间的关系：
- 虐待行为的主体和受害者必须是共同生活的家庭成员，他们之间具有一定的亲属关系或扶养关系。这是认定虐待家庭成员行为的基础。
- 非家庭成员之间的暴力行为，如雇主虐待雇工，不属于虐待家庭成员的范畴。
法律认定与制裁：
- 根据《中华人民共和国刑法》的相关规定，虐待家庭成员，情节恶劣的，处二年以下有期徒刑、拘役或者管制。致使被害人重伤、死亡的，处二年以上七年以下有期徒刑。
- 虐待罪一般属于告诉才处理的犯罪，但被害人没有能力告诉，或者因受到强制、威吓无法告诉的除外。这意味着，在大多数情况下，需要受害者或其法定代理人主动向司法机关报案，才能启动刑事诉讼程序。
法律建议：
- 如果您或您身边的人遭受了虐待行为，应及时收集证据，如受害人的陈述、证人证言、医院的诊断证明、伤情鉴定报告、视听资料等，以证明虐待行为的发生、频率、性质和后果。
- 同时，应尽快向公安机关报案，寻求法律保护和援助。公安机关将对虐待案件进行立案侦查，收集证据，并根据法律规定和证据情况进行认定和判决。
- 在处理虐待家庭成员案件时，建议寻求专业律师的帮助，以确保您的权益得到充分保护。
特殊情形说明：
- 若虐待行为致使被害人重伤、死亡，属于虐待罪的结果加重犯，将面临更重的处罚。这里的“重伤、死亡”是指由于长期受虐待逐渐造成的身体严重损伤或死亡，或因不堪忍受长期虐待而自杀导致的重伤或死亡。
- 对于负有监护、看护职责的人（如保姆、护理人员等）虐待被监护、看护的人（如未成年人、老年人、患病的人、残疾人等），情节恶劣的，同样构成犯罪，将受到法律的制裁。
综上所述，判断虐待家庭成员需要综合考虑行为性质、频率、后果以及家庭成员间的关系等多个方面。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询。