结论前置：合伙人中有一方不想继续合作，投资的钱是否需要退还，这并非一个简单的“是”或“否”的问题，而是需要根据合伙协议的约定、合伙企业的性质以及相关法律法规来综合判断。以下是从不同角度进行的分析：
合伙协议有明确约定的情况：
- 如果合伙协议中明确规定了合伙人退出时的资金处理方式，比如约定了退伙时应当退还投资款及其比例，或者规定了不退还投资款但给予其他形式的补偿，那么应当按照合伙协议的约定来执行。
- 法律依据：根据《中华人民共和国合伙企业法》的相关规定，合伙协议是合伙企业设立和运营的基础，合伙人应当遵守合伙协议的约定。
合伙协议无明确约定，但合伙企业为有限合伙的情况：
- 在有限合伙企业中，有限合伙人的出资通常被视为对合伙企业的投资，其退出时是否退还投资款，可能需要根据合伙企业的盈利状况、出资是否已转化为合伙企业资产等因素来综合判断。
- 如果有限合伙人按照合伙协议的约定或者经全体合伙人一致同意，可以将其在有限合伙企业中的财产份额部分或者全部转让给其他合伙人或者符合条件的受让人，但这并不直接等同于退还投资款。
- 法律依据：同样依据《中华人民共和国合伙企业法》，有限合伙企业的运作和管理有其特定的法律规定。
合伙协议无明确约定，且合伙企业为普通合伙的情况：
- 在普通合伙企业中，合伙人退出时，其投资款的处理可能更加复杂。如果合伙企业处于亏损状态，退伙人可能需要承担相应的亏损份额，而不是简单地退还投资款。
- 如果合伙企业有盈利，退伙人是否有权分享盈利或者退还部分投资款，也需要根据合伙企业的具体情况和合伙人的协商结果来确定。
- 法律依据：普通合伙企业的合伙人之间承担无限连带责任，其出资和退伙的处理需要遵循《中华人民共和国合伙企业法》的相关规定，并考虑合伙企业的实际情况。
实际操作中的建议：
- 在处理合伙人退出和投资款退还的问题时，建议首先查阅合伙协议，了解其中关于退伙和资金处理的约定。
- 如果合伙协议无明确约定，或者约定不明确，建议合伙人之间进行协商，寻求达成一致意见。
- 如果协商无果，可以考虑通过法律途径解决争议，比如向法院提起诉讼或者申请仲裁。
额外提醒：在处理这类问题时，还需要考虑税务、财务记录等其他方面的因素。比如，退伙人可能需要就其退伙时从合伙企业取得的财产份额缴纳个人所得税等。因此，在处理合伙人退出和投资款退还的问题时，建议咨询专业的法律和财务人士，以确保处理的合法性和合规性。
总结：合伙人中有一方不想继续合作时，投资的钱是否需要退还，需要根据合伙协议的约定、合伙企业的性质以及相关法律法规来综合判断。在处理这类问题时，建议保持谨慎和理性，寻求专业的法律和财务建议。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。