结论前置：
- 若“养人”指与他人以夫妻名义同居生活，则可能构成重婚罪，违法；若仅指婚外情，一般不构成犯罪，但违反道德和社会公序良俗。
- 处理方式包括收集证据、协商、诉讼及寻求社会支持等。
详细分析：
一、关于“养人”是否违法
若“养人”指与他人以夫妻名义同居生活：
- 根据《中华人民共和国刑法》第二百五十八条：“有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。” 若父亲在已有配偶的情况下，与他人以夫妻名义同居生活，则可能构成重婚罪，这是违法的。
若“养人”仅指婚外情，未以夫妻名义同居：
- 这种情况下，虽然不构成犯罪，但违反了婚姻中的忠诚义务，也违背了社会公序良俗。从法律层面讲，可能不直接受到刑事处罚，但会受到道德层面的谴责，并可能影响家庭关系和社会评价。
二、关于如何处理
收集证据：
- 若发现父亲有上述违法行为，首先应收集相关证据，如照片、视频、聊天记录、证人证言等，以证明其与他人以夫妻名义同居或存在其他违法行为。
协商解决：
- 在掌握一定证据后，可以尝试与父亲进行沟通，表达对其行为的不满和担忧，并寻求协商解决的方式，如要求其断绝与第三者的关系，回归家庭等。
诉讼途径：
- 若协商无果，且父亲的行为已经严重影响到家庭关系和婚姻稳定，可以考虑通过法律途径解决。例如，若构成重婚罪，可以向公安机关报案，要求追究其刑事责任；若不构成犯罪，但存在过错导致离婚，可以在离婚诉讼中要求其承担相应的民事责任，如赔偿损失等。
寻求社会支持：
- 在处理此类问题时，也可以寻求家人、朋友或相关社会组织的支持和帮助，如心理咨询、家庭调解等，以更好地应对和解决家庭危机。
三、特别提醒：
- 在处理此类问题时，应保持冷静和理性，避免情绪化行为导致问题进一步恶化。
- 同时，应尊重法律和道德规范，不得采取非法手段进行报复或威胁。
如有进一步疑问或需要具体法律建议，可以直接向我咨询。