不是亲生父亲的情况下，是否可以断绝关系取决于关系的性质，具体分为以下两种情况：

一、自然血亲关系（如亲生父子但误以为非亲生）

若双方实际存在自然血亲关系（例如因误解或信息错误而误以为非亲生），法律上无法断绝关系。根据我国《民法典》及相关法律规定，自然血亲的父母子女关系基于出生事实产生，具有不可改变性，不受任何外部因素影响，也不能通过法律手段解除。即使双方签订“断绝关系协议”，该协议也不具有法律效力，父亲对未成年子女仍负有抚养、教育和保护的义务，成年子女对父母也负有赡养、扶助和保护的义务。

二、拟制血亲关系（如养父子、继父子）

若双方为拟制血亲关系（如养父子、继父子），在一定条件下可以解除关系，具体分为以下两种情形：

1. 养父子关系
   根据《民法典》第一千一百一十五条，养父母与成年养子女关系恶化、无法共同生活的，可以协议解除收养关系；若不能达成协议，可向人民法院提起诉讼。解除收养关系后，养子女与养父母及其他近亲属间的权利义务关系即行消除，与生父母及其他近亲属间的权利义务关系自行恢复（但成年养子女与生父母的权利义务关系是否恢复可协商确定）。此外，经养父母抚养的成年养子女，对缺乏劳动能力又缺乏生活来源的养父母，应当给付生活费；若因养子女虐待、遗弃养父母而解除收养关系，养父母有权要求养子女补偿收养期间支出的抚养费。

2. 继父子关系

   • 若继父母与继子女之间未形成抚养教育关系，则在继父母与亲生父母的婚姻关系解除时，继父子关系自然解除。
     
   • 若形成了有抚养关系的继父子关系，则不因婚姻关系的解除而当然解除。只有在双方关系恶化、无法共同生活时，经当事人请求，法院才可以解除他们之间的权利义务关系。解除后，继子女对曾长期抚养教育过他们的继父母仍应承担赡养扶助义务；继父母对缺乏劳动能力又没有生活来源的继子女仍有抚养的责任。

法律建议

1. 明确关系性质：首先需确认双方是自然血亲还是拟制血亲关系，这是判断能否解除关系的前提。
   
2. 协商优先：若为拟制血亲关系且希望解除，建议优先通过协商解决，以减少矛盾和冲突。
   
3. 法律程序：若协商无果，可依据《民法典》的相关规定，通过协议或诉讼解除收养关系或继父子关系。
   
4. 珍惜亲情：家庭关系是社会关系的重要组成部分，建议尽量通过沟通、理解化解矛盾，而非轻易选择解除关系。

如有进一步疑问或需要具体法律帮助，可直接向我咨询。