可以起诉要求抚养权变更给对方。在某些特定情况下，若符合法定情形，法院会对此予以支持。具体来说，这些情况包括：
与子女共同生活的一方因严重疾病或伤残无力抚养：例如，患上恶性肿瘤、重大精神疾病，或者因伤残导致身体机能严重受损，失去了劳动能力，从而没有足够的精力和经济能力继续抚养子女。
与子女共同生活的一方不履行抚养义务或有虐待行为：如长期不提供生活所需的物质条件，或者存在虐待子女的恶劣行为，像经常打骂、体罚子女，又或者其与子女共同生活的环境对子女的身心健康产生了不利影响。
子女愿随另一方生活且该方有抚养能力：对于八周岁以上的未成年子女，如果他们明确表示愿意跟随另一方生活，并且该方具备抚养孩子的能力，包括稳定的收入、良好的居住环境等，法院会考虑变更抚养权。
存在其他正当理由：例如，一方的生活环境发生重大变化，不利于子女成长等。
在起诉时，你需要向有管辖权的法院提交起诉状，清晰说明变更抚养权的理由和事实依据，并提供相关证据，如医疗诊断证明、证人证言等。法院会依据具体情况认真审理，并从有利于子女身心健康、保障子女的合法权益出发，结合父母双方的抚养能力和抚养条件等具体情况，对抚养权变更诉求作出判决。
如果你正面临这样的情况，或者有任何关于婚姻家庭、遗产继承方面的法律问题，都可以直接向我咨询，我会为你提供专业的法律建议和帮助。