结论：如果不慎被忽悠担任了公司的法人，你是有权退出的，但需要通过合法途径并遵循一定的程序。以下是从多个角度为你提供的详细解答和建议：
一、明确法律后果与责任
首先，你需要明确作为法定代表人的法律责任和潜在风险。根据《中华人民共和国民法典》等相关法律法规，法定代表人需对公司行为承担一定责任。若公司存在违法行为或债务纠纷，法定代表人可能面临法律风险，包括但不限于民事赔偿、行政处罚甚至刑事责任。因此，及时解除法定代表人身份至关重要。
二、尝试协商解决
与公司实际控制人或股东沟通：
- 你可以尝试与公司实际控制人、大股东或其他相关方进行坦诚沟通，说明自己是在不知情或被误导的情况下担任的法定代表人，请求他们协助办理变更手续。
- 如果能够达成一致，建议签订书面协议，明确双方的权利和义务，以及变更法定代表人的具体时间和方式。
利用公司内部程序：
- 根据公司章程或内部规定，查看是否有关于法定代表人变更的具体流程和要求。
- 按照规定的程序提交申请，要求召开股东会或董事会会议，审议并通过变更法定代表人的决议。
三、通过法律途径解决
如果协商无果，或者公司拒绝配合办理变更手续，你可以考虑通过法律途径来解决问题。
收集证据：
- 收集所有能证明自己是被忽悠担任法定代表人的证据，如聊天记录、邮件往来、合同文件等。
- 这些证据将有助于在后续的法律程序中证明自己的清白和无辜。
提起诉讼：
- 你可以向法院提起诉讼，请求判令公司及相关方停止侵害自己的姓名权、名誉权等合法权益，并要求其配合办理法定代表人变更登记手续。
- 在诉讼过程中，要充分利用法律武器维护自己的权益，积极举证和辩论。
向相关部门投诉举报：
- 你可以向当地市场监督管理部门、税务部门等相关机构投诉举报公司的违法违规行为，请求他们介入调查并处理。
- 这些部门的介入可能会促使公司主动配合办理变更手续。
四、特殊情形下的强制退出路径
在某些极端情况下，如果无法通过正常途径解决问题，且公司确实存在严重违法违规行为或已陷入僵局，你可以考虑以下强制退出路径（但需注意法律风险和可行性）：
破产清算：
- 如果公司已资不抵债或无法继续经营，你可以申请破产清算。在破产清算过程中，法院将指定管理人接管公司事务，包括办理法定代表人变更手续。
行政撤销（极少见）：
- 在极个别情况下，如果公司注册过程中存在严重欺诈、虚假材料等违法行为，且这些行为与法定代表人任命直接相关，你可能通过行政诉讼请求撤销原注册登记及法定代表人任命。但需满足严格法律条件并提供充分证据。
五、注意事项
- 及时行动：发现被骗后应尽快采取措施，避免损失扩大。
- 保护个人信息：防止身份信息被滥用，及时关注公司动态和个人信用记录。
- 遵守法律法规：整个过程中需严格遵守法律法规，不得采取非法手段。
作为胡荣律师，我建议你根据自身情况选择合适的解决路径，并在必要时寻求专业法律帮助以确保自身权益得到充分保障。如果你有任何疑问或需要进一步的法律咨询，请随时向我提问。