交完离职单之后到离职日是否可以直接离开，这主要取决于你与公司的具体约定以及法律法规的规定。以下是对此问题的详细解答：

首先，从法律层面来看，《中华人民共和国劳动合同法》第三十七条规定，劳动者提前三十日以书面形式通知用人单位，可以解除劳动合同。如果你在试用期内，那么只需提前三日通知用人单位即可。这意味着，在提交离职报告并经过法定的通知期后，你有权解除劳动合同并离开公司。

然而，在实际操作中，还需要考虑公司内部的规章制度和流程。有些公司可能会要求你在离职前完成一定的工作交接、退还公司财物、办理离职手续等。这些要求可能并非法律强制，但却是公司内部的正常管理流程。因此，在离职前，建议你与公司相关部门或领导进行沟通，明确离职的具体流程和注意事项。

此外，还需要注意的是，即使你已经提交了离职报告并经过了法定的通知期，但在离职日之前，你仍然需要遵守公司的规章制度和劳动纪律。如果你在此期间出现旷工、违反公司规定等行为，公司可能会以此为由拒绝为你办理离职手续或要求你承担相应的责任。

综上所述，交完离职单之后到离职日是否可以直接离开，需要综合考虑法律法规、公司规章制度以及实际情况。建议你提前与公司相关部门或领导进行沟通，明确离职的具体流程和注意事项，并遵守公司的规章制度和劳动纪律，以确保离职过程的顺利进行。