是的，在特定情形下，可以起诉撤销一方的监护人资格。这一规定主要依据《中华人民共和国民法典》第三十六条，该条款明确指出了在哪些情况下，人民法院可以根据有关个人或者组织的申请，撤销监护人的资格，并安排必要的临时监护措施，同时按照最有利于被监护人的原则依法指定新的监护人。
具体来说，这些情形包括：
实施严重损害被监护人身心健康的行为：如果监护人实施了严重损害被监护人身心健康的行为，如虐待、遗弃等，那么相关个人或组织有权向人民法院申请撤销其监护人资格。
怠于履行监护职责，或无法履行且拒绝委托他人，导致被监护人处于危困状态：监护人如果怠于履行其监护职责，或者由于某种原因无法履行监护职责，并且拒绝将监护职责部分或全部委托给他人，导致被监护人处于危困状态，如生活无着、流浪街头等，那么相关个人或组织同样有权申请撤销其监护人资格。
实施严重侵害被监护人合法权益的其他行为：除了上述两种情形外，如果监护人实施了其他严重侵害被监护人合法权益的行为，如侵占被监护人财产、利用被监护人进行违法活动等，相关个人或组织也可以向人民法院申请撤销其监护人资格。
有权申请撤销监护人资格的个人和组织包括：其他依法具有监护资格的人（如祖父母、外祖父母、兄姐等）、居民委员会、村民委员会、学校、医疗机构、妇女联合会、残疾人联合会、未成年人保护组织、依法设立的老年人组织以及民政部门等。如果这些个人和组织未及时向人民法院申请撤销监护人资格，民政部门应当承担起这一责任，向人民法院提出申请。
以实际案例为例，如重庆市某区民政局申请撤销唐某监护人资格案中，唐某作为张某某的法定监护人，在张某某的父亲去世后，怠于履行监护职责，导致张某某处于危困状态。重庆市某区民政局作为兜底单位，向人民法院申请撤销唐某的监护人资格，并最终获得了法院的支持。这一案例充分说明了在特定情形下，起诉撤销一方监护人资格是可行的，并且是为了保障被监护人的合法权益。
总结来说，如果您认为某方的监护人存在上述情形之一，严重损害了被监护人的权益，那么您可以向相关个人或组织反映情况，并由他们或民政部门向人民法院申请撤销该监护人的资格。法院将根据最有利于被监护人的原则，依法作出裁决。