“不回去”这一行为本身并不直接构成虐待罪。虐待罪的认定涉及多个方面，以下是对此问题的详细分析：
一. 虐待罪的构成要件
根据《中华人民共和国刑法》第二百六十条的规定，虐待罪需要满足两个主要条件：
存在虐待行为：且该行为是经常性的。虐待行为包括但不限于打骂、禁闭、捆绑、冻饿、有病不给治疗、强迫过度体力劳动等，这些行为对被害人的肉体或精神进行摧残、折磨，且情节恶劣。
主体和对象特定：虐待罪的主体通常是共同生活的同一家庭的成员，也可以是具有监护、看护职责的人。其对象则是家庭成员或被监护、看护的人。
二. “不回去”与虐待罪的关系
行为性质：“不回去”这一行为本身并不直接构成虐待，因为虐待罪要求的是对被害人实施积极的虐待行为或消极的虐待不作为。
后果考量：然而，如果“不回去”导致了家庭成员无法得到必要的照顾和保护，进而遭受了身体上的伤害或精神上的折磨，且这种伤害或折磨达到了情节恶劣的程度，那么相关责任人就有可能构成虐待罪。例如，负有监护、看护职责的人（如父母、监护人等）故意不回家照顾无自理能力的家庭成员（如未成年人、老年人、残疾人等），导致他们遭受了严重的身体或精神伤害，这种行为就有可能被认定为虐待罪。
三. 法律责任的承担
刑事处罚：犯虐待罪既遂的，处二年以下有期徒刑、拘役或者管制。如果虐待行为致使被害人重伤、死亡，则处二年以上七年以下有期徒刑。
告诉才处理原则：虐待罪通常属于亲告罪，即需要被害人自行告诉才处理。但是，当被害人没有能力告诉，或者因受到强制、威吓无法告诉时，则不受此限制。
综上所述，“不回去”这一行为本身并不直接构成虐待罪，但如果因此导致了家庭成员遭受严重伤害且情节恶劣，则相关责任人有可能被追究虐待罪的刑事责任。如有进一步需要，您可以继续咨询我。