结论前置：一般情况下，对方在付款后不能以项目亏损为由收回已付款，但具体需结合合同条款、性质及实际履行情况综合判断。以下分情况详细说明：
1. 若合同被认定为“名为投资，实为借贷”
- 法律定性：根据《民法典》及相关司法解释，若合同中约定了固定回报（如固定利率、固定收益），且投资者不参与项目经营管理、不承担经营风险，则合同性质可能被认定为“借贷关系”，而非真正的投资关系。
- 后果：在借贷关系中，借款人（项目方）需按约定还本付息。即使项目亏损，借款人仍需履行还款义务，无权要求收回已支付的“利息”（即固定回报）。若对方主张收回已付款，需证明合同存在无效情形（如欺诈、胁迫等），否则法院通常不会支持。
2. 若合同被认定为“真实投资关系”
- 法律定性：若合同明确约定投资者需承担项目风险（如亏损分担），且投资者实际参与了项目管理或决策，则合同性质为投资关系。
- 后果：在投资关系中，投资者需按约定承担风险。若项目亏损，投资者可能无法获得预期回报，但已支付的款项（如出资款）通常不可要求返还，除非合同另有约定（如约定亏损时退还部分出资）或对方存在根本违约（如未将资金用于约定项目）。
3. 合同条款的关键作用
- 固定回报条款的效力：若合同明确约定“无论项目盈亏，对方均需支付固定回报”，则该条款在双方自愿、不违反法律强制性规定的情况下有效。对方需按约履行，否则构成违约。
- 风险提示条款：若合同中未明确提示投资风险，或对方以虚假陈述诱导签约，投资者可主张合同可撤销或部分无效，但需举证证明对方存在过错。
4. 实际履行中的例外情形
- 资金未用于约定项目：若对方将资金挪作他用，导致项目亏损，投资者可主张对方违约，要求返还已付款并赔偿损失。
- 合同无效情形：若合同因违反法律、行政法规强制性规定（如未经批准的金融业务）而无效，则双方需返还财产，有过错的一方需赔偿损失。
建议行动
- 审查合同：核对合同条款，明确约定性质（借贷或投资）、回报方式、风险分担等关键内容。
- 固定证据：保存付款凭证、合同文本、沟通记录等，证明对方已按约收款。
- 协商或诉讼：若对方无理要求，可先协商解决；协商不成，可向法院起诉要求确认合同效力或追究违约责任。
提示：法律问题需结合具体证据和案情分析，以上内容仅供参考。如有进一步疑问，可直接向我咨询，我会结合您的合同文本和实际情况提供详细解答。