退伙时不能仅依据合伙约定不清算就退还投资款并解除合同。以下从不同角度对此问题进行分析：
一、合伙合同的基本原则
合伙合同是两个以上合伙人为共同的事业目的，订立的共享利益、共担风险的协议。在合伙关系中，合伙人的出资、因合伙事务依法取得的收益和其他财产，均属于合伙财产。这意味着，一旦成为合伙人，其出资就转化为合伙体的财产，合伙人不能直接要求返还合伙投资，除非经过合伙清算。
二、清算的必要性
保护全体合伙人利益：清算是对合伙期间的经营活动、财务状况进行全面审查和结算的过程。通过清算，可以确定合伙体的盈亏情况，合理分配剩余财产，保护全体合伙人的利益。如果未经清算就退还投资款，可能会损害其他合伙人的权益。
法律要求：根据相关法律规定，合伙终止时，应当进行清算。未经清算，合伙人不得擅自分配合伙财产或要求退还投资款。这是法律对合伙关系终止时财产处理的基本要求。
三、退伙与清算的关系
退伙条件：退伙通常需要满足一定的条件，如合伙协议约定的退伙事由出现、经全体合伙人同意退伙、发生合伙人难以继续参加合伙的事由等。在退伙时，如果合伙协议没有特别约定，退伙人应当与其他合伙人进行清算，确定其应得的财产份额。
未经清算的后果：如果退伙人未经清算就要求退还投资款并解除合同，这种诉求通常不会得到法律的支持。因为未经清算，无法确定合伙体的实际盈亏情况，也就无法合理分配剩余财产。如果法院支持这种诉求，可能会引发其他合伙人的不满和纠纷。
四、实际案例分析
以闽清法院审结的一起合伙纠纷案件为例，该案中林某要求刘某返还投资款，但法院经审理后认为，虽然刘某承诺返还投资款给林某，但该承诺为个人意见，不等同于全体合伙人的意思表示。且林某未提供证据证明合伙合同终止，并未对合伙事务进行清算。因此，法院依法驳回了林某的诉讼请求。这个案例充分说明了清算在退伙过程中的重要性。
五、建议与措施
完善合伙协议：在订立合伙协议时，应当明确退伙的条件、程序以及清算的方式和时间等。这样可以在退伙时减少纠纷和争议。
依法进行清算：在退伙时，应当依法进行清算。可以聘请专业的会计师或律师进行清算工作，确保清算结果的准确性和公正性。
协商解决：如果退伙人与其他合伙人之间就清算问题存在争议，可以尝试通过协商的方式解决。协商不成时，可以依法向人民法院提起诉讼。
如有任何关于合伙纠纷或公司法务方面的法律问题，可以直接向我咨询。我会根据你的具体情况，提供专业的法律建议和解决方案。