结论：男方不抚养与“小三”所生的孩子，一般不构成遗弃罪，但可能涉及民事抚养义务。以下从法律角度进行详细分析：
一、遗弃罪的构成要件
遗弃罪，是指对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的行为。要构成遗弃罪，需要满足以下几个要件：
- 主体要件：遗弃罪的主体是对被遗弃者负有法律上的扶养义务而且具有抚养能力的人。
- 主观要件：行为人必须明知自己应履行扶养义务而拒绝扶养。
- 客体要件：遗弃罪侵犯的客体是被害人在家庭成员中的平等权利。
- 客观要件：表现为对没有独立生活能力的家庭成员，应当扶养而拒不扶养，情节恶劣的行为。
二、男方不抚养与“小三”所生孩子的法律分析
民事抚养义务：
- 根据《中华人民共和国民法典》的相关规定，非婚生子女享有与婚生子女同等的权利，任何组织或者个人不得加以危害和歧视。不直接抚养非婚生子女的生父或者生母，应当负担未成年子女或者不能独立生活的成年子女的抚养费。
- 因此，男方作为孩子的生父，对与“小三”所生的孩子负有抚养义务。如果男方不履行这一义务，孩子或其法定代理人（如母亲）可以向法院提起诉讼，要求男方支付抚养费。
遗弃罪的认定：
- 虽然男方不抚养孩子可能违反了民事抚养义务，但并不一定构成遗弃罪。遗弃罪的认定需要满足情节恶劣的条件，如导致被害人重伤、死亡，或者造成被害人流离失所、被迫沿街乞讨等严重后果。
- 在一般情况下，男方不抚养孩子可能仅涉及民事纠纷，而不构成刑事犯罪。然而，如果男方的行为情节特别恶劣，如长期遗弃、虐待孩子等，则可能构成遗弃罪或其他相关犯罪。
三、建议与措施
协商与调解：
- 如果男方不履行抚养义务，建议首先尝试通过协商或调解的方式解决纠纷。可以邀请亲友、社区工作人员或专业律师参与调解，以达成双方都能接受的抚养协议。
提起诉讼：
- 如果协商或调解无果，孩子或其法定代理人可以向法院提起诉讼，要求男方支付抚养费。法院将根据双方的实际情况和孩子的需要，判决男方支付相应的抚养费。
寻求法律援助：
- 如果女方在抚养孩子过程中遇到经济困难或其他法律问题，可以寻求法律援助机构的帮助。法律援助机构将提供免费的法律咨询和代理服务，以维护女方的合法权益。
最后，男方不抚养与“小三”所生的孩子一般不构成遗弃罪，但可能涉及民事抚养义务。如果男方不履行这一义务，孩子或其法定代理人可以通过协商、调解或提起诉讼等方式来维护自己的权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。