结论：在养了几年的孩子后来才知道不是亲生的情况下，一般可以解除与孩子的抚养关系，但具体还需根据实际情况和法律规定来判断。

分析说明：

1. 法律关系基础：

   • 抚养关系通常基于血缘关系或法律上的收养关系而建立。若孩子并非亲生，且未通过合法收养程序确立抚养关系，那么从法律层面讲，这种抚养关系可能缺乏坚实的法律基础。

2. 解除抚养关系的条件：

   • 非亲生且未收养：如果确认孩子不是亲生的，且双方并未通过法律程序确立收养关系，那么抚养人可以基于这一事实，向法院提出解除抚养关系的请求。
   • 存在欺诈或重大误解：若抚养人在抚养孩子的过程中，因对方的欺诈行为（如故意隐瞒孩子非亲生的事实）或重大误解（如误以为孩子是亲生的）而抚养了孩子，抚养人也有权要求解除抚养关系。
   • 双方协商一致：如果双方能够就解除抚养关系达成一致意见，那么也可以通过协商的方式解除抚养关系，无需经过法律程序。但需要注意的是，协商解除抚养关系时，应确保孩子的合法权益得到保障。

3. 解除抚养关系的法律后果：

   • 抚养义务的终止：一旦抚养关系被解除，抚养人将不再承担对孩子的抚养义务，包括提供生活费、教育费、医疗费等。
   • 财产关系的处理：如果抚养人在抚养孩子期间为孩子支付了大量费用，且这些费用并非出于自愿或赠与，那么抚养人可能有权要求对方返还部分或全部费用。但具体能否返还以及返还的数额，需要根据实际情况和法律规定来判断。
   • 孩子的权益保障：在解除抚养关系时，应充分考虑孩子的权益和利益。如果孩子尚未成年或需要特殊的照顾和保护，那么应确保孩子在解除抚养关系后能够得到妥善的安置和照顾。

行动建议：

• 收集证据：如果打算解除抚养关系，首先需要收集相关证据来证明孩子并非亲生，如亲子鉴定报告等。
• 咨询律师：由于解除抚养关系涉及复杂的法律问题和程序，建议咨询专业律师以获取更详细的法律建议和指导。
• 协商或诉讼：根据实际情况和法律规定，选择通过协商或诉讼的方式解除抚养关系。如果双方能够协商一致，那么可以签订解除抚养关系的协议；如果协商不成，那么可以向法院提起诉讼。

特殊场景提醒：

• 如果孩子已经与抚养人建立了深厚的感情纽带，且解除抚养关系可能对孩子造成较大的心理伤害，那么应谨慎考虑解除抚养关系的决定。
• 在解除抚养关系时，应确保孩子的合法权益得到充分保障，避免因为解除抚养关系而给孩子带来不必要的伤害和损失。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。