结论：合伙人是否有权利让你退出合伙，这并非一个简单的是非问题，而是取决于多种因素，包括合伙协议的约定、合伙企业的性质以及相关法律法规的规定。以下我将从多个角度详细分析这个问题。

一、合伙协议的约定

1. 有明确约定：如果合伙协议中明确规定了合伙人退出的条件、程序以及相应的法律后果，那么当这些条件满足时，其他合伙人或合伙企业有权依据协议要求你退出。这种情况下，你的退出是基于双方自愿达成的协议，具有法律效力。

2. 无明确约定或约定不明：如果合伙协议中没有明确规定退出的相关条款，或者规定不明确，那么其他合伙人不能单方面要求你退出。此时，合伙关系的存续将依赖于各合伙人之间的协商和共识。

二、合伙企业的性质

1. 普通合伙企业：在普通合伙企业中，合伙人通常享有平等的权利和义务。除非合伙协议另有约定，否则任何合伙人都不能被单方面要求退出。如果合伙人之间发生争议，可以通过协商、调解或诉讼等方式解决。

2. 有限合伙企业：在有限合伙企业中，有限合伙人的退出可能受到更多限制。根据《中华人民共和国合伙企业法》的相关规定，有限合伙人在特定情况下（如合伙协议约定的退伙事由出现、发生合伙人难以继续参加合伙的事由等）可以退伙。但普通合伙人的退出则通常需要全体合伙人一致同意，除非合伙协议另有约定。

三、相关法律法规的规定

1. 法定退伙情形：根据《中华人民共和国合伙企业法》的规定，合伙人存在某些法定情形时（如死亡、被依法宣告为无民事行为能力人、个人丧失偿债能力等），其他合伙人可以决议将其除名或要求其退伙。但这些情形都是特定的，且需要符合法律规定的条件。

2. 协商退伙：除了法定退伙情形外，合伙人之间还可以通过协商达成退伙协议。这种情况下，退伙的条款和条件将由各合伙人自行协商确定。

四、建议与注意事项

1. 审查合伙协议：如果你面临被要求退出合伙的情况，首先应当仔细审查合伙协议中的相关条款，了解自己的权利和义务。

2. 协商与沟通：在可能的情况下，尝试与其他合伙人进行协商和沟通，寻求双方都能接受的解决方案。

3. 寻求法律帮助：如果协商无果或你认为自己的权益受到侵害，可以寻求专业律师的法律帮助，通过法律途径维护自己的权益。

总结来说，合伙人是否有权利让你退出合伙取决于合伙协议的约定、合伙企业的性质以及相关法律法规的规定。在面临这种情况时，建议你首先审查合伙协议、与其他合伙人进行协商和沟通，并在必要时寻求法律帮助。如果你有任何具体的法律问题或需要进一步的法律建议，请直接向我咨询。