结论：与“小三”有了孩子这一事实本身，并不直接决定分开时投资钱能否要回，关键在于投资行为的性质、资金来源以及是否存在相关法律协议或约定。以下从不同角度进行分析：
一、投资行为性质与资金来源
个人财产投资：
- 如果投资使用的是您的个人财产，且投资行为与“小三”无关，那么投资收益或本金原则上应归您个人所有。在分开时，您有权要求返还投资本金及应得收益。
- 法律依据：根据《中华人民共和国民法典》中关于个人财产的规定，个人财产在婚姻关系存续期间或同居关系期间，仍保持其个人属性，除非另有约定。
共同财产投资：
- 如果投资使用的是您与配偶的共同财产，且“小三”并未参与投资或未对投资产生实质性贡献，那么投资收益或本金应视为夫妻共同财产。在分开时，需按照夫妻共同财产的分割原则进行处理。
- 特殊情况：若“小三”以某种方式参与了投资（如提供资金、技术、管理等），并形成了事实上的合伙或合作关系，那么投资收益或本金的分割可能涉及更复杂的法律关系，需要具体分析。
二、是否存在法律协议或约定
书面协议：
- 如果您与“小三”之间存在书面协议，明确约定了投资资金的归属、收益分配等事项，那么应按照协议内容执行。
- 法律效力：书面协议具有法律效力，只要协议内容合法、有效，且双方均签字确认，即可作为分割投资资金的依据。
口头约定：
- 如果您与“小三”之间只有口头约定，且没有其他证据支持，那么口头约定的证明力相对较弱。在分割投资资金时，可能难以直接作为依据。
- 建议：对于重要的财产约定，建议尽量采用书面形式，并保留好相关证据。
三、法律后果与风险提示
道德风险：
- 与“小三”保持不正当关系并生育子女，不仅违反社会道德规范，还可能对您的家庭关系、社会形象等造成负面影响。
- 建议：在处理投资资金问题的同时，也应考虑道德和伦理因素，尽量通过和平、理性的方式解决问题。
法律风险：
- 如果投资行为涉及非法活动（如洗钱、诈骗等），那么您可能面临法律责任。在分割投资资金时，需确保投资行为的合法性。
- 建议：在处理投资资金问题时，务必遵守法律法规，避免涉及非法活动。
四、具体建议
收集证据：
- 收集与投资行为相关的所有证据，包括投资合同、转账记录、收益凭证等。这些证据将有助于您在分割投资资金时维护自己的权益。
咨询专业律师：
- 由于投资资金分割问题可能涉及复杂的法律关系和财产权益，建议您咨询专业律师以获取更具体的法律建议。
- 注意：作为陈锦策律师，我擅长处理经济纠纷和刑事辩护领域的问题。如果您有相关法律问题，可以直接向我咨询。
协商解决：
- 在可能的情况下，尝试与“小三”通过协商方式解决投资资金分割问题。协商解决可以节省时间和成本，并避免不必要的法律纠纷。
诉讼解决：
- 如果协商无果，您可以考虑通过诉讼方式解决投资资金分割问题。在诉讼过程中，您需要提供充分的证据支持自己的主张，并遵循法院的判决结果。