结论：合伙做生意没有合同，生意失败后合伙人想要回当初投的钱是否合法，这取决于多种因素，包括合伙的性质、是否有口头协议、资金的使用情况以及是否存在欺诈或违法行为等。以下从不同角度进行分析：
一、合伙性质与口头协议
个人合伙：如果你们之间构成个人合伙关系，即便没有书面合同，口头协议也是具有法律效力的。根据《中华人民共和国民法典》的相关规定，个人合伙的合伙人应当按照出资比例或者协议约定，以各自的财产对合伙的债务承担责任。若合伙协议中未明确约定亏损分担方式，则通常按照出资比例分担。在此情况下，若生意失败导致亏损，合伙人一般不能要求全额退回投资款，而是需要按照出资比例或协议约定分担亏损。
口头协议的内容：如果你们之间有明确的口头协议，约定了投资款的性质（如是否为借款、是否可退还等）、亏损分担方式等关键条款，那么这些口头协议将作为判断合伙人是否有权要求退回投资款的重要依据。若口头协议中明确约定了投资款在特定条件下可退还，且该条件已满足，则合伙人有权要求退回投资款。
二、资金使用情况
资金是否用于合伙事务：如果投资款确实用于了合伙事务，且没有证据表明存在欺诈、挪用等违法行为，那么合伙人一般不能要求全额退回投资款。因为投资款已经转化为合伙财产，用于了合伙的经营活动，合伙人需要共同承担经营风险。
资金是否被滥用：如果存在证据表明投资款被滥用或挪用，未用于合伙事务，那么受损的合伙人有权要求滥用或挪用资金的合伙人承担赔偿责任。在这种情况下，受损的合伙人可能有机会通过法律途径追回部分或全部投资款。
三、欺诈或违法行为
欺诈行为：如果一方在合伙过程中存在欺诈行为，如虚构事实、隐瞒真相等，导致另一方做出错误的投资决策，那么受损的合伙人有权要求撤销合伙协议，并追回投资款。欺诈行为是法律所禁止的，受损方有权通过法律途径维护自己的合法权益。
违法行为：如果合伙事务涉及违法行为，如非法经营、偷税漏税等，那么所有合伙人都可能面临法律责任。在这种情况下，合伙人不仅可能无法要求退回投资款，还可能面临罚款、刑事处罚等法律后果。
四、建议与行动
收集证据：如果你认为自己的权益受到侵害，建议首先收集相关证据，如转账记录、聊天记录、证人证言等，以证明你的投资情况、合伙协议的存在以及对方的违约行为等。
协商解决：在收集到足够证据后，可以尝试与对方进行协商，寻求和解或达成新的协议。协商解决是成本最低、效率最高的方式。
法律途径：如果协商无果，你可以考虑通过法律途径维护自己的权益。你可以向法院提起诉讼，要求对方承担违约责任或赔偿责任。在诉讼过程中，你需要提供充分的证据来支持你的主张。
作为周叶律师，我专注于公司法务、合同纠纷等领域，如果你有任何相关问题或需要进一步的法律帮助，请直接向我咨询。