结论：厂里因赶货忙而拒绝你加班，并声称要扣绩效的做法，是不合法的。你有权拒绝不合理的加班要求，且厂里不能因此扣减你的绩效。

详细分析

1. 加班的法律规定：

   • 根据《劳动法》的相关规定，用人单位由于生产经营需要，经与工会和劳动者协商后可以延长工作时间，一般每日不得超过一小时；因特殊原因需要延长工作时间的，在保障劳动者身体健康的条件下延长工作时间每日不得超过三小时，但是每月不得超过三十六小时。
   • 这意味着，加班并非厂里的单方面决定，而是需要与劳动者协商，并在保障劳动者身体健康的前提下进行。

2. 拒绝加班的权利：

   • 你有权根据自己的身体状况、家庭情况等因素，决定是否接受加班。如果厂里提出的加班要求超出了法定时间，或者你因个人原因无法加班，你有权拒绝。
   • 厂里不能因你拒绝不合理的加班要求而对你进行处罚，包括扣减绩效。

3. 扣减绩效的合法性：

   • 绩效通常与劳动者的工作表现、工作成果等直接相关。厂里不能因你拒绝加班这一与工作表现无直接关联的行为，而扣减你的绩效。
   • 如果厂里以你拒绝加班为由扣减绩效，这可能构成对劳动者的不公平对待，甚至可能违反劳动法的相关规定。

4. 应对措施：

   • 如果你遇到这种情况，首先可以与厂里进行沟通，明确表达你的立场和理由。
   • 如果沟通无果，你可以向当地的劳动监察部门投诉，寻求他们的帮助和支持。
   • 你也可以考虑咨询专业律师，了解你的法律权益，并考虑通过法律途径维护你的合法权益。

可能的法律后果

• 如果厂里坚持扣减你的绩效，并且这一行为被认定为违法，那么厂里可能需要承担相应的法律责任，包括但不限于支付你应得的绩效工资、赔偿你的损失等。
• 同时，厂里的这一行为也可能对其声誉和形象造成负面影响，影响其与劳动者的关系和未来的招聘工作。

建议：遇到这种情况时，保持冷静和理性，通过合法途径维护自己的权益。如果你有任何疑问或需要进一步的帮助，可以直接向我咨询。