在合法合规的前提下，可通过以下方式收集父亲存在私生子的相关证据，但需注意，任何证据收集行为都不得侵犯他人合法权益：
直接证据类
- 亲子鉴定报告：这是最直接有力的证据。如果能获取到父亲与疑似私生子之间的生物样本，如毛发、血液、唾液等，通过专业的司法鉴定机构进行亲子鉴定，鉴定结果若显示存在生物学父子关系，将具有极高的证明力。不过，获取生物样本需在合法且不侵犯他人隐私和人身权利的前提下进行，例如在对方自愿配合的情况下采集。
- 书面承认材料：如果父亲自愿写下承认私生子事实的书面材料，如信件、悔过书、声明等，这也可以作为直接证据。这类材料最好有父亲的亲笔签名和日期，以增强其真实性和可信度。
间接证据类
- 证人证言：寻找知晓父亲与私生子相关情况的证人，如邻居、朋友、亲戚等。证人需要能够清晰、准确地陈述所看到、听到的事实，例如看到父亲与私生子及其母亲频繁一起出入、共同生活等场景。证人最好能够出庭作证，接受双方质询，以确保证言的真实性和可靠性。
- 经济往来记录：调查父亲与疑似私生子母亲之间的经济往来情况。可以通过银行流水、转账记录等，查看父亲是否定期向对方转账大额资金，或者为对方购买房产、车辆等贵重物品。这些经济往来可能暗示着父亲对私生子的抚养义务履行情况。
- 通讯记录：收集父亲与疑似私生子母亲之间的通讯记录，如短信、微信聊天记录、通话记录等。从这些记录中可能发现一些关于私生子的讨论、安排见面等信息，但需要注意通讯记录的获取方式要合法，例如如果是通过非法手段获取的他人手机中的通讯记录，可能不会被法院采信。
- 照片、视频等影像资料：如果能够拍摄到父亲与私生子及其母亲一起生活的照片或视频，如一起逛街、吃饭、旅游等场景，这些影像资料可以作为证明他们之间关系的间接证据。但同样，拍摄行为不得侵犯他人隐私，例如不能在他人住宅内私自安装摄像头进行拍摄。
在收集证据过程中，还需注意以下法律问题：
- 隐私权保护：不得通过非法侵入他人住宅、窃听、偷拍等侵犯他人隐私的方式收集证据。例如，不能在对方家中安装窃听器或摄像头来获取信息，否则这些证据可能因违法而不被法院采纳，甚至自己还可能面临法律责任。
- 证据的合法性、真实性和关联性：确保所收集的证据来源合法，内容真实可靠，并且与父亲存在私生子这一事实具有关联性。只有符合这些要求的证据才能在法律诉讼中被法院认可和采用。
如果收集到证据后打算通过法律途径解决相关问题，比如涉及财产分割、抚养费等，建议及时咨询专业律师，以便根据具体情况制定合理的诉讼策略。如果你还有其他关于这方面证据收集的疑问或者遇到相关法律问题，都可以直接向我咨询。