结论：是否需要还钱，取决于您与委托人之间的法律关系性质，具体分为委托合同关系和民间借贷关系两种情况进行分析。以下为详细说明：
一、若双方构成委托合同关系
法律关系分析：
- 根据《中华人民共和国民法典》第九百一十九条，委托合同是委托人和受托人约定，由受托人处理委托人事务的合同。在您的情况下，若双方明确约定由您代为投资理财，且您按照委托人的指示和要求进行操作，则双方构成委托合同关系。
责任承担：
- 在委托合同关系中，受托人（即您）在处理委托事务时，若因不可归责于自己的原因受到损失的，可以向委托人要求赔偿损失。投资失败本身，若非因您的过错或故意行为导致，通常视为市场风险，应由委托人自行承担。
- 但是，如果您在处理委托事务时存在过错或故意行为，导致投资失败或损失扩大，那么您可能需要承担相应的赔偿责任。
建议：
- 回顾双方之间的约定，确认是否存在明确的责任分担条款。
- 若您无过错，且投资失败非因您的故意或重大过失导致，您可以向委托人解释市场风险，并表明无需承担赔偿责任。
- 若存在争议，建议双方协商解决，或寻求法律途径解决纠纷。
二、若双方构成民间借贷关系（虽不常见，但需考虑）
法律关系分析：
- 民间借贷关系通常涉及资金的出借和偿还。若您与委托人之间的约定更类似于您向委托人借款用于投资，且约定了还款期限和利息等条款，则可能构成民间借贷关系。但根据您的描述，这种情况较为少见，因为通常委托投资不会直接转化为借贷关系。
责任承担：
- 在民间借贷关系中，借款人（若您被认定为借款人）有义务按照约定的期限和方式偿还借款本金和利息。若投资失败导致您无法偿还借款，您仍需承担还款责任，除非双方另有约定或存在法定免责事由。
建议：
- 仔细审查双方之间的约定，确认是否存在借贷关系的特征。
- 若确实构成借贷关系，且您无法偿还借款，建议与委托人协商延期还款或分期还款等方案。
- 若存在争议，同样建议双方协商解决或寻求法律途径解决纠纷。不过，在大多数委托投资的情境下，这种关系更倾向于委托合同而非借贷。
综合建议：在大多数情况下，您与委托人之间更可能构成委托合同关系。因此，除非您存在过错或故意行为导致投资失败，否则您无需承担还款责任。然而，为了明确双方的权利和义务，避免潜在的纠纷，建议您与委托人签订书面协议，明确约定双方的权利和义务、责任分担方式等条款。若已发生纠纷，且双方无法协商解决，建议寻求专业法律帮助，通过法律途径解决争议。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。