关于退工单和劳动手册是否需要一起交给新单位的问题，以下是我的详细解答：

首先，退工单确实需要交给新单位。这是因为退工单是证明劳动者与前一个用人单位已经解除劳动关系的凭证。交给新单位后，新单位可以确认劳动者当前没有与其他单位存在劳动关系，从而避免潜在的劳动纠纷。根据《中华人民共和国劳动合同法》的相关规定，如果劳动者同时与其他用人单位建立劳动关系，并对完成本单位的工作任务造成严重影响，或者经用人单位提出后拒不改正，那么用人单位有权单方面解除劳动合同。因此，提供退工单对于确保劳动者在新单位的合法就业是非常重要的。

至于劳动手册，它通常记录了劳动者的个人信息、工作经历、技能水平等，是劳动者求职和就业的重要参考文件。虽然劳动手册不是必须交给新单位的文件，但很多用人单位在招聘时会要求劳动者提供劳动手册，以便更好地了解劳动者的背景和经历。因此，如果新单位有此类要求，劳动者应当提供劳动手册。

综上所述，退工单是必须要交给新单位的，以避免潜在的劳动纠纷；而劳动手册则根据新单位的具体要求来决定是否提供。在交给新单位之前，劳动者应确保这些文件的真实性和完整性，以维护自己的合法权益。