在合伙协议中直接约定退伙时按投资款项予以退还，这一约定在特定条件下是有效的，但并非绝对有效，需结合具体情况分析。以下是从不同角度对这一问题的详细解答：

1. 约定有效的情形：

   • 真实意思表示：如果退伙条款是合伙人之间的真实意思表示，且内容不违反法律、行政法规的强制性规定，不违背公序良俗，那么该约定在合伙人之间是有效的。
   • 符合合伙协议：退伙条款还需符合合伙协议中关于退伙的相关约定。若合伙协议对退伙有特定程序或条件要求，退伙条款应与之相符。
   • 不损害债权人利益：退伙条款若对合伙债务承担等问题约定不明确或损害债权人利益，该部分约定可能无效。但在此情形下，我们讨论的是退伙时按投资款项退还的约定，若该约定不涉及债务承担或已妥善处理债务问题，则通常不会损害债权人利益。

2. 约定可能无效的情形：

   • 违反法律法规：如果退伙条款违反了法律、行政法规的强制性规定，如涉及非法集资、欺诈等行为，那么该约定是无效的。
   • 违背公序良俗：若退伙条款违背了公序良俗，如约定退伙时需支付高额违约金或不合理费用，导致退伙人权益受损，那么该约定也可能被视为无效。
   • 损害其他合伙人利益：如果退伙条款的约定损害了其他合伙人的利益，如未经其他合伙人同意擅自退伙并要求全额退还投资款项，可能导致合伙关系破裂或损害其他合伙人权益，此时该约定可能不被认可。

3. 法律建议与后果：

   • 明确约定：在合伙协议中应明确约定退伙的条件、程序以及退伙时财产的分配方式，包括是否按投资款项退还等。这有助于减少后续纠纷的发生。
   • 合法合规：确保退伙条款的约定合法合规，不违反法律法规的强制性规定，不违背公序良俗。
   • 考虑债务承担：在约定退伙条款时，应充分考虑合伙债务的承担问题，避免因债务承担不明确而导致纠纷。
   • 协商解决：若发生退伙纠纷，应首先通过协商解决。协商不成的，可以依法向人民法院提起诉讼。

4. 实际案例参考：

   • 在实际案例中，如潜江法院审理的合伙合同纠纷案件，法院认为合伙出资属于合伙财产，未经合伙清算无法直接要求返还。因此，在合伙协议中直接约定退伙时按投资款项退还，若未经合伙清算，可能无法得到法院的支持。

综上所述，在合伙协议中直接约定退伙时按投资款项予以退还，其有效性需结合具体情况分析。为确保约定的有效性并减少后续纠纷的发生，建议在合伙协议中明确约定退伙的条件、程序以及退伙时财产的分配方式，并确保约定合法合规、不损害其他合伙人及债权人的利益。如有任何法律问题或需要进一步的法律建议，请直接向我咨询。