结论：派遣工在工厂干活时，若班长无故不让继续工作，这可能涉及违法解除劳动合同或违法调整工作岗位的情形。具体如何处理，需根据实际情况来判断，以下从几个角度为你详细分析。
一、班长行为的性质判断
是否构成违法解除劳动合同：
- 如果班长直接告知你“不用再来上班了”，且没有合理的理由（如你严重违反工厂规章制度、不能胜任工作等），这可能构成违法解除劳动合同。根据《劳动合同法》的相关规定，用人单位违法解除劳动合同的，应当向劳动者支付赔偿金。
是否构成违法调整工作岗位：
- 如果班长只是以某种理由（如“你干得不好”）要求你调岗，而你又不同意调岗，且该调岗没有合理的依据（如你的技能确实不适合当前岗位、工厂因生产经营需要调整岗位等），这可能构成违法调整工作岗位。在此情况下，你有权拒绝调岗，并继续在原岗位工作。
二、应对措施
与班长或工厂管理层沟通：
- 首先，你可以尝试与班长或工厂管理层进行沟通，了解他们让你停止工作的具体原因，并表达你的诉求和意见。如果沟通无果，或者你认为他们的理由不充分、不合理，你可以进一步采取其他措施。
向劳务派遣单位反映情况：
- 作为派遣工，你的劳动合同是与劳务派遣单位签订的。因此，你可以向劳务派遣单位反映情况，要求他们介入处理。劳务派遣单位有义务维护你的合法权益，如果工厂确实存在违法行为，劳务派遣单位应当协助你维权。
申请劳动仲裁或提起诉讼：
- 如果与工厂和劳务派遣单位的沟通都没有结果，你可以向当地的劳动仲裁机构申请劳动仲裁，要求工厂支付违法解除劳动合同的赔偿金或恢复你的工作岗位。如果对劳动仲裁结果不满意，你还可以向法院提起诉讼。
三、注意事项
保留证据：
- 在处理此类纠纷时，保留相关证据非常重要。你可以保留与班长或工厂管理层的沟通记录、工作记录、工资单等证据，以便在需要时证明自己的权益。
了解法律法规：
- 在处理劳动纠纷时，了解相关的法律法规是非常有帮助的。你可以查阅《劳动合同法》、《劳动争议调解仲裁法》等相关法律法规，了解自己的权益和维权途径。
及时咨询专业律师：
- 如果你对处理此类纠纷感到困惑或无助，可以及时咨询专业律师。作为专注于建设工程、工伤赔偿领域的律师，我也可以为你提供相关的法律咨询和帮助。
最后建议：面对班长无故让你停止工作的情况，不要慌张或冲动行事。先尝试与班长或工厂管理层沟通，了解原因并表达诉求；如果沟通无果，再向劳务派遣单位反映情况或申请劳动仲裁、提起诉讼。在整个过程中，保留好相关证据并了解相关法律法规是非常重要的。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。