公司保留直接解除劳动合同的权利，并不意味着在行使该权利时不给予员工解除劳动合同书。

首先，我们要明确一点，公司保留直接解除劳动合同的权利，这是公司在劳动合同或相关规章制度中可能明确的一项条款。这项权利的存在，主要是为了让公司在特定情况下，如员工严重违反公司规定或法律法规时，能够迅速且有效地解除与员工的劳动合同关系。

然而，这并不意味着公司在行使这一权利时，可以随意地、不给予任何书面通知或解除劳动合同书就解除与员工的劳动合同。实际上，根据《劳动合同法》的相关规定，无论是哪种情况下的劳动合同解除，公司都需要依法向员工出具解除劳动合同书，以作为双方劳动合同关系解除的正式证明。

解除劳动合同书不仅是对员工的一种正式通知，也是员工后续办理离职手续、领取失业保险金等事项的重要依据。因此，即使公司保留了直接解除劳动合同的权利，也需要在行使这一权利时，依法向员工出具解除劳动合同书。

综上所述，公司在保留直接解除劳动合同权利的同时，仍然需要依法向员工出具解除劳动合同书。如果公司未依法出具，员工可以依法向劳动监察部门投诉或提起劳动仲裁，以维护自己的合法权益。