结论：若女方怀孕期间的所有费用由男方承担，但男方发现孩子并非自己的，男方可以通过法律途径来维护自己的权益，具体包括提起确认亲子关系不存在之诉以及要求女方返还相关费用。
详细分析：
提起确认亲子关系不存在之诉：
- 法律依据：根据《中华人民共和国民法典》的相关规定，对亲子关系有异议且有正当理由的，父或者母可以向人民法院提起诉讼，请求确认或者否认亲子关系。在此情况下，男方作为怀疑非亲生父亲的当事人，有权向法院提起诉讼，请求确认与孩子之间不存在亲子关系。
- 诉讼流程：男方需要准备相关证据，如亲子鉴定报告（若可能）、与女方的沟通记录等，以证明其与孩子之间不存在亲子关系的合理怀疑。随后，向有管辖权的人民法院提起诉讼，并按照法院的要求参与诉讼过程。
- 法律后果：若法院经审理确认男方与孩子之间不存在亲子关系，则男方无需承担作为父亲的法定责任和义务。
要求女方返还相关费用：
- 法律依据：在确认亲子关系不存在的前提下，男方可以主张女方返还其在怀孕期间所承担的所有费用。这些费用原本是基于男方作为孩子父亲的预期而支付的，既然亲子关系不存在，女方继续占有这些费用就缺乏合法依据。
- 费用范围：男方可以要求返还的费用包括但不限于医疗费、营养费、生活费等与女方怀孕及生产直接相关的费用。具体费用范围应根据实际情况和证据来确定。
- 诉讼策略：男方可以在提起确认亲子关系不存在之诉的同时，一并提出要求女方返还相关费用的诉讼请求。或者，在确认亲子关系不存在的判决生效后，再另行提起诉讼要求女方返还费用。这取决于男方的具体诉讼策略和法院的审理情况。
建议与注意事项：
- 保留证据：男方应尽可能保留与女方沟通的相关记录、支付费用的凭证等证据，以便在诉讼过程中证明自己的主张。
- 咨询专业律师：虽然我在这里提供了一些基本的法律建议，但每个案件的具体情况都有所不同。因此，男方在提起诉讼前最好咨询一位专业律师，以获取更具体、更个性化的法律建议。
- 理性处理：在处理此类纠纷时，男方应保持理性，避免情绪化的行为。通过法律途径来解决问题是最有效、最公正的方式。
若男方在此过程中有任何疑问或需要进一步的法律帮助，可以直接向我咨询。