结论：和工厂签了协议按平均工资拿工资，并不影响您拿回年假的权利。年假是劳动者的法定权益，与工资计算方式无直接关联。
分析说明：
年假的法定性：
- 根据《劳动法》及相关规定，劳动者在用人单位连续工作满一定年限后，享有带薪年休假的权利。这是劳动者的法定权益，不受工资计算方式、劳动合同内容等因素的影响。
工资计算方式与年假的关系：
- 您与工厂签订的协议中，按平均工资拿工资，这是关于工资计算方式的约定。它并不涉及年假的享有或计算方式。因此，这一约定不会影响您拿回年假的权利。
年假的具体规定：
- 年假的天数通常根据劳动者在用人单位的工作年限来确定。例如，工作满1年不满10年的，年休假5天；工作满10年不满20年的，年休假10天；工作满20年的，年休假15天。
- 如果用人单位因工作需要不能安排劳动者休年假的，应当按照劳动者日工资收入的300%支付年休假工资报酬。
实际操作建议：
- 如果您希望享受年假，应提前与用人单位沟通，了解年假的具体安排和流程。
- 如果用人单位拒绝安排年假或未按照规定支付年休假工资报酬，您可以向劳动监察部门投诉或寻求法律援助，维护自己的合法权益。
特殊场景：
- 如果劳动合同或工厂规章制度中有特别规定，关于年假的享有或计算方式与法定规定不一致的，且该规定不违反法律法规的强制性规定，那么可能按照特别规定执行。但这种情况较为少见，且通常不会完全剥夺劳动者的年假权利。
后续行动建议：
- 如果您对年假的具体规定或工厂的年假政策有疑问，建议直接向工厂的人力资源部门咨询，或查阅相关的劳动合同、规章制度等文件。
- 如果您认为自己的年假权利受到了侵害，可以收集相关证据，如工作年限证明、劳动合同、工资单等，向劳动监察部门投诉或寻求法律援助。
如有其他疑问或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供更详细的法律建议。