结论前置：针对您描述的情况，您有权要求对方承担违约责任并赔偿损失，同时可通过法律途径确认您的合伙人身份及权益。具体分析如下：

1. 合伙关系的法律认定
   根据《民法典》合同编，合伙关系需以书面协议或实际履行行为确认。若您未签订书面合伙协议，但实际投入40万元并参与工程，可主张存在事实合伙关系。需收集以下证据：

   • 资金转账记录（证明投资款性质）；
     
   • 参与工程管理的记录（如会议纪要、工作沟通记录）；
     
   • 对方承认您合伙人身份的书面或录音证据。
     若证据充分，您可要求法院确认合伙关系，并主张继续参与工程或分配利润。

2. 对方擅自更换合伙人的法律责任
   若对方未经您同意，单方终止您的合伙资格并引入新合伙人，可能构成以下违约行为：

   • 违反合伙协议：若存在书面协议，对方行为构成根本违约，您可要求解除协议并索赔；
     
   • 侵犯优先购买权：根据《公司法》或合伙协议约定，原合伙人有权优先受让合伙份额，对方擅自引入第三人可能无效；
     
   • 侵占财产：若40万元被挪用或未用于工程，您可主张对方返还投资款并赔偿损失。
     建议立即向对方发送律师函，明确要求停止侵权行为，并保留通过诉讼追责的权利。

3. 您的权利救济路径

   • 协商解决：要求对方出具书面退场说明，明确退场原因及补偿方案（如返还投资款、分配利润）；
     
   • 诉讼主张：若协商无果，可起诉要求：
     
     1. 确认合伙关系及份额；
        
     2. 赔偿因退场导致的损失（如预期利润、投资款利息）；
        
     3. 追究对方违约责任（如违约金）。
        
   • 财产保全：为防止对方转移工程资产，可申请法院查封工程账户或设备。

4. 实务建议

   • 立即取证：保存所有与工程相关的书面文件、沟通记录及资金流水；
     
   • 暂缓退场：在未达成协议前，避免签署任何“自愿退场”文件；
     
   • 委托律师介入：通过律师发函或提起诉讼，可增强谈判筹码并提高维权效率。

风险提示：若您未及时主张权利，可能导致超过诉讼时效（3年），丧失胜诉权。建议尽快启动法律程序。如有进一步证据或细节需要分析，可直接向我提供材料，我将为您制定具体方案。