结论前置：
- 班长无权阻止离职，可直接找人事部门。
- 若人事部门不处理，可依法申请劳动仲裁。
详细分析：
在工厂或企业中，员工享有离职的自由，这是劳动法赋予的基本权利。班长作为基层管理者，其职责主要是管理和协调班组内的工作，并无权阻止员工离职。如果班长以不正当理由阻止你离职，这实际上是违反了劳动法的相关规定。
针对你的情况，我建议采取以下步骤：
直接与人事部门沟通：
- 你可以携带离职申请（最好以书面形式，并保留一份副本作为证据）直接前往人事部门，说明你的离职意愿和原因。
- 人事部门作为企业的人力资源管理部门，有责任和义务处理员工的离职申请，并按照规定办理相关手续。
若人事部门不处理或处理不当：
- 如果人事部门以各种理由拖延或拒绝处理你的离职申请，你可以要求他们出具书面说明，并保留好相关证据。
- 在这种情况下，你可以考虑向当地的劳动监察部门投诉，或者依法申请劳动仲裁，以维护自己的合法权益。
法律依据：
- 根据《中华人民共和国劳动法》的相关规定，劳动者有权依法解除劳动合同，用人单位不得无故阻挠。
- 如果用人单位违反规定，劳动者有权向劳动监察部门投诉或申请劳动仲裁，要求用人单位承担相应的法律责任。
额外建议：
- 在离职过程中，建议保持冷静和理性，避免与班长或人事部门发生不必要的冲突。
- 保留好所有与离职相关的证据，如离职申请、与人事部门的沟通记录等，以备不时之需。
- 如果对离职流程或相关法律问题有疑问，可以随时向我咨询，我会为你提供专业的法律建议。
最后，离职是劳动者的合法权利，任何单位或个人都不得无故阻挠。如果你在离职过程中遇到任何问题，都可以依法维护自己的权益。