面对在工厂里被班干退工的情况，你首先需要保持冷静，并按照以下步骤来维护自己的合法权益：

一、确认退工的合法性

1. 查看劳动合同：仔细阅读你的劳动合同，特别是关于工作效率、绩效考核以及辞退条件的具体条款。确认是否存在因工作效率低而直接辞退的明确规定。

2. 了解工厂规章制度：要求工厂提供员工手册或相关规章制度，并核实其中关于工作效率和退工的规定是否经过合法程序制定并公示。如果规章制度未经合法程序，那么它不能作为退工的依据。

3. 核对法定情形：根据《中华人民共和国劳动合同法》的相关规定，确认自己是否符合被退工的法定情形。例如，是否严重违反了工厂的规章制度，或者是否不能胜任工作且经过培训或调整工作岗位后仍不能胜任。如果仅因干活慢且未达到上述严重违规或不能胜任工作的标准，那么退工可能构成违法。

二、与工厂沟通协商

1. 要求说明理由：主动与工厂的人力资源部门或上级领导沟通，要求他们明确说明退工的具体原因和依据，并尽量保留相关证据，如沟通记录、录音等。

2. 尝试协商解决：表达你愿意提高工作效率的意愿，并探讨是否有培训、调岗或设定考核期的可能性。如果协商成功，最好形成书面协议，明确双方的权利和义务。

三、全面收集证据

1. 劳动关系证据：收集劳动合同、工资条、工资转账记录、工作证、考勤记录等，以证明你与工厂之间的劳动关系以及你的工作情况。

2. 退工证据：如退工通知、与工厂管理人员的沟通记录等，以确定退工的事实和时间。

3. 工作表现证据：收集你的工作成果、任务分配记录等，以证明你虽然干活慢但完成了基本工作任务，或者干活慢是由外部原因导致的。

四、寻求法律途径维权

1. 投诉劳动监察：如果与工厂的协商无果，你可以向当地劳动监察部门投诉，提交相关证据材料，要求他们进行调查处理。

2. 申请劳动仲裁：如果劳动监察部门的处理结果不满意，你可以在规定时间内向劳动争议仲裁委员会申请仲裁，提交仲裁申请书、证据清单等材料。

3. 提起诉讼：如果对仲裁裁决不服，你还可以在收到裁决书之日起十五日内向人民法院提起诉讼。由于诉讼程序相对复杂，建议你咨询专业律师以获得准确指导。

五、了解相关法律依据

• 《中华人民共和国劳动合同法》第三十九条和第四十条明确规定了用人单位可以解除劳动合同的情形以及特定情况下解除劳动合同的条件。
• 《中华人民共和国劳动合同法》第四十七条规定了经济补偿的标准，即按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。
• 《中华人民共和国劳动合同法》第四十八条和第八十七条则保护了劳动者在用人单位违法解除或终止劳动合同时的权益，规定了用人单位应支付的赔偿金标准。

综上所述，面对被班干退工的情况，你应依法判断退工的合法性，积极收集证据，并与工厂协商解决。如果协商无果，你可以通过劳动监察、劳动仲裁和诉讼等途径来维护自己的合法权益。