关于离职通知书是否直接交到人事部门，这主要取决于您所在单位的性质和具体的离职流程规定。不过，我可以根据一般情况和您可能遇到的两种主要单位类型（事业单位和公务员单位）来给出一些概括性的指导。
对于事业单位：
在事业单位中，如果您有辞职意愿，通常需要先向您所在的事业单位提交书面辞职申请，这个申请需要您本人签字并按上手印。之后，这个申请会由您所在的事业单位向事业单位主管部门申请批准。在辞职申请获得批准后，会有一系列的表格需要填写，如《事业单位工作人员（机关工勤人员）辞去公职申请表》等，并且这些表格需要经过您所在事业单位和事业单位主管部门的批准并盖章。完成这些步骤后，您可能需要将这些材料交到事业单位的人事管理部门，或者根据单位的具体要求，直接交到更高一级的人力资源和社会保障局进行鉴证备案。因此，在事业单位中，离职通知书（或更准确地说，是辞职申请及相关材料）的最终提交对象可能包括人事部门，但也可能涉及更高级别的管理部门。
对于公务员单位：
在公务员单位中，如果您想辞去公职，您需要向任免机关提出书面申请，并填写《公务员辞去公职申请表》。这个申请会经过任免机关的组织人事部门审核，并由任免机关进行审批。审批结果会以书面形式通知您所在单位和您本人，并且同意辞去公职的批复会送同级公务员主管部门备案。在这个过程中，您可能需要将相关的申请材料交到单位的人事部门，但最终的审批和备案流程可能涉及更高级别的公务员主管部门。不过，就离职通知书（即辞职申请）的直接提交对象而言，它通常是您所在单位的人事部门或任免机关的相关部门。
概括性建议：
查阅单位规定：首先，我建议您查阅您所在单位的具体离职流程规定或员工手册，以了解离职通知书应该提交给哪个部门。
咨询人事部门：如果您不确定或无法找到相关规定，您可以直接咨询您所在单位的人事部门，他们应该能够为您提供明确的指导。
遵循流程：无论您所在单位的性质如何，都请确保您遵循了正确的离职流程，包括提交离职通知书、办理公务交接手续、转移档案等。
保留证据：在提交离职通知书和办理其他离职手续时，请确保您保留了相关的证据和文件，以备不时之需。
希望这些建议能够对您有所帮助。如果您有任何进一步的问题或需要更具体的指导，请随时告诉我。