结论：是否需要将投资的钱退还给退出的合伙人，取决于合伙协议的约定、合伙企业的性质以及相关法律法规的规定。以下从不同角度进行分析：
合伙协议有明确约定：
- 如果合伙协议中明确规定了合伙人退出时的资金处理方式，比如约定了退伙时应当退还投资本金、按照特定比例退还或者不退还等，那么应当按照合伙协议的约定执行。这是基于合同自由原则，合伙协议作为合伙人之间的“法律”，对各方具有约束力。
合伙协议无明确约定或约定不明：
- 对于普通合伙企业：根据《中华人民共和国合伙企业法》的相关规定，合伙人退伙时，其他合伙人应当与该退伙人按照退伙时的合伙企业财产状况进行结算，退还退伙人的财产份额。退伙时有未了结的合伙企业事务的，待该事务了结后进行结算。如果退伙人对给合伙企业造成的损失负有赔偿责任的，相应扣减其应当赔偿的数额。退伙时有债务的，如果合伙企业财产不足支付债务的，退伙人应当依照法律规定分担亏损。因此，在普通合伙企业中，退伙人能否拿回投资本金，取决于退伙时合伙企业的财产状况以及是否存在需要分担的亏损。
- 对于有限合伙企业：有限合伙人的退伙规则与普通合伙人类似，但有限合伙人以其认缴的出资额为限对合伙企业债务承担责任。如果有限合伙人退伙时，合伙企业财产不足以支付其出资额的，有限合伙人通常不需要承担超出其出资额的责任（除非存在特殊约定或法律另有规定）。然而，这并不意味着有限合伙人一定能拿回全部投资本金，因为还需要考虑合伙企业的实际财产状况和债务情况。
特殊情况下的处理：
- 如果合伙人存在违反合伙协议或法律法规的行为，导致合伙企业遭受损失的，其他合伙人可以要求其承担赔偿责任，并可能从其应退还的财产份额中扣除相应的赔偿金额。
- 如果合伙企业因为合伙人的退伙而需要进行解散清算的，那么退伙人的财产份额将在清算过程中按照法律法规和合伙协议的约定进行处理。
建议：
- 首先查阅合伙协议，了解其中关于合伙人退出的具体规定。
- 如果合伙协议无明确约定或约定不明，建议与其他合伙人协商解决，必要时可以寻求专业法律帮助，以确定最合理的处理方式。
- 在处理过程中，注意保留相关证据，如合伙协议、出资证明、退伙协议等，以备不时之需。
可能后果：
- 如果处理不当，可能导致合伙人之间的纠纷升级，甚至引发法律诉讼。
- 如果退伙人未能按照法律法规和合伙协议的约定处理其财产份额，可能面临承担额外责任的风险。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。