结论：在合伙协议中直接约定合伙事务执行人退回或赔偿投资人的投资款而不经过合伙清算，这种约定在法律上存在较大的风险和不确定性，一般而言，这种约定可能因违反法律强制性规定或合伙清算原则而无效，但在特定情况下，若不违反法律强制性规定且符合合伙清算原则，可能被认定为有效。以下从不同角度进行分析：
一、法律原则与规定
合伙清算原则：
- 根据《中华人民共和国合伙企业法》的相关规定，合伙企业解散或终止时，应当进行清算。清算的目的是清理合伙企业的财产，清偿债务，并按照合伙协议的约定或法律规定分配剩余财产。
- 合伙清算原则要求合伙企业的财产和债务在清算过程中得到全面、公正的处理，以确保所有合伙人的权益得到保障。
法律强制性规定：
- 合伙协议中的约定不得违反法律的强制性规定。如果约定直接退回或赔偿投资款而不经过清算，可能损害其他合伙人的利益，也可能违反法律关于合伙清算的规定。
二、约定有效性的分析
违反法律强制性规定的约定无效：
- 如果合伙协议中的约定直接违反了《中华人民共和国合伙企业法》中关于合伙清算的强制性规定，那么这种约定将被视为无效。
- 例如，如果约定在合伙企业未清算的情况下，合伙事务执行人直接退回或赔偿投资人的投资款，这种约定可能因违反清算原则而无效。
不违反法律强制性规定的约定可能有效：
- 如果合伙协议中的约定不违反法律的强制性规定，且符合合伙清算的原则和精神，那么这种约定可能被视为有效。
- 例如，合伙协议可以约定在特定条件下（如合伙企业提前解散、合伙事务执行人严重违约等），合伙事务执行人需承担一定的赔偿责任，但这种赔偿责任应当与合伙清算的结果相协调，不得损害其他合伙人的利益。
三、实际操作中的建议
明确约定清算程序和条件：
- 在合伙协议中，应当明确约定合伙清算的程序和条件，包括清算组的组成、清算期限、清算财产的分配等。
- 同时，可以约定在特定情况下（如合伙事务执行人严重违约或损害合伙企业利益时），合伙事务执行人需承担一定的赔偿责任，但这种赔偿责任应当与清算结果相协调。
寻求法律专业意见：
- 在制定或修改合伙协议时，建议寻求法律专业人士的意见，以确保合伙协议的内容合法、合规，并充分保障所有合伙人的权益。
- 如果发生纠纷或争议，也应当及时咨询法律专业人士，以便采取合适的法律措施维护自身权益。
总结：合伙协议中直接约定合伙事务执行人退回或赔偿投资人的投资款而不经过合伙清算，这种约定在法律上存在较大的风险和不确定性。为了确保合伙协议的合法性和有效性，建议在制定或修改合伙协议时，明确约定清算程序和条件，并寻求法律专业意见。如有任何法律问题或需要进一步的法律咨询，请直接向我提问。