是否可以要回五万块钱的投资，取决于具体的投资形式和双方之间的约定。下面我将分情况详细分析：
一. 若投资行为被认定为借款
- 没有合同但有其他证据：即使没有书面的借款合同，但如果有其他证据（如转账记录、聊天记录、证人证言等）能够证明双方存在借款的合意，且五万块钱已经实际交付，那么可以依据这些证据要求对方返还借款。
- 例如，如果你通过银行转账将五万块钱转给对方，并在转账备注中注明是“借款”，那么这就可以作为证明双方借款关系的证据。
二. 若投资行为被认定为投资入股
- 没有合同且无法证明借款：如果没有书面合同，且无法提供其他证据证明五万块钱是借款，那么这笔钱可能被视为投资入股。在这种情况下，要求返还投资款可能会比较困难，因为投资入股通常意味着风险共担、利益共享，投资者需要承担投资失败的风险。
- 退股或转让股权：如果想要回投资款，可能需要通过退股或转让股权的方式实现。但这通常需要与其他股东协商，并遵循公司章程和法律规定的程序。
三. 若投资行为涉及非法活动
- 投资无效：如果投资行为涉及非法活动（如诈骗、传销等），那么该投资行为无效，可以要求对方返还投资款。
- 报警并寻求法律帮助：在这种情况下，建议及时报警并寻求法律帮助，以维护自己的合法权益。
我建议你首先回顾一下与对方的沟通记录和转账记录，看看是否有能够证明双方存在借款合意或投资约定的证据。如果有证据支持你的主张，那么你可以根据具体情况采取相应的法律措施来要求对方返还投资款。如果没有证据或者证据不足，那么想要回投资款可能会比较困难。如有进一步需要，您可以继续咨询我。