结论：合伙协议中约定一方不管理只分红，该协议在符合法律规定且不违反公序良俗的情况下是有效的。至于是否可以要求对方退回投资款，这取决于多种因素，包括合伙协议的具体条款、合伙企业的经营状况以及是否存在法定或约定的退伙情形等。
一、合伙协议的效力
法律基础：
- 根据《中华人民共和国合伙企业法》的相关规定，合伙协议是合伙企业成立的基础，它规定了合伙人之间的权利、义务和责任分配。只要合伙协议的内容不违反法律、行政法规的强制性规定，不违背公序良俗，且是各方真实意思的表示，那么该协议就是有效的。
不管理只分红的约定：
- 合伙协议中约定一方不参与管理只享受分红，这并不违反法律的强制性规定。在合伙企业中，合伙人可以根据各自的专长和意愿，协商确定各自在合伙企业中的角色和职责。有的合伙人可能更擅长管理，而有的则可能更擅长投资或提供其他资源。因此，只要这种约定是各方真实意思的表示，且没有损害其他合伙人的利益，就是合法的。
二、是否可以要求退回投资款
合伙协议的具体条款：
- 首先，需要查看合伙协议中是否有关于退伙或退回投资款的明确约定。如果协议中有相关规定，那么应当按照协议的约定来处理。
合伙企业的经营状况：
- 其次，需要考虑合伙企业的经营状况。如果合伙企业正在盈利，且没有发生法定或约定的退伙情形，那么要求退回投资款可能会面临一定的困难。因为合伙企业的财产是全体合伙人的共同财产，任何一方都不能随意处分。
法定或约定的退伙情形：
- 根据《中华人民共和国合伙企业法》的规定，合伙人可以在特定情形下退伙，如合伙协议约定的退伙事由出现、经全体合伙人一致同意、发生合伙人难以继续参加合伙的事由等。如果符合这些情形之一，且其他合伙人同意退伙，那么可以要求退回投资款（但需注意，退回的金额可能需要根据合伙企业的财产状况进行清算后确定）。
其他考虑因素：
- 此外，还需要考虑是否存在其他特殊情况，如合伙人之间存在纠纷、合伙企业面临解散或破产等。在这些情况下，要求退回投资款可能会更加复杂，需要依据相关法律法规和合伙协议的具体条款来处理。
三、建议
- 如果您希望了解更具体的法律建议或处理方案，建议您直接向我咨询，并提供合伙协议的具体内容、合伙企业的经营状况以及您希望达到的目标等信息。这样我可以根据您的具体情况，给出更准确、更有针对性的法律建议。