当公司解除与员工的劳动关系时，根据《中华人民共和国劳动合同法》的相关规定，公司确实需要向员工提供离职证明。以下是对这一问题的详细解答：

一、法律依据

1. 《中华人民共和国劳动合同法》第五十条：明确规定用人单位应当在解除或者终止劳动合同时，出具解除或者终止劳动合同的证明。这一证明就是大家通常所说的“离职证明”。

2. 《中华人民共和国劳动合同法实施条例》第二十四条：进一步细化了离职证明的内容要求，包括劳动合同期限、解除或者终止劳动合同的日期、工作岗位以及在本单位的工作年限等。

二、离职证明的重要性

1. 对于劳动者：离职证明是劳动者进行失业登记的必备条件，没有它，劳动者可能无法享受失业待遇。同时，离职证明也是劳动者求职时的重要文件，新用人单位通常会要求提供以确认劳动者与前用人单位的劳动关系已经终结。

2. 对于用人单位：出具离职证明是用人单位的法定义务。如果未按规定出具，可能会面临劳动行政部门的责令改正，甚至需要承担因未出具离职证明而给劳动者造成的损害赔偿责任。

三、开具离职证明的注意事项

1. 时间要求：离职证明应当在劳动合同解除或终止的同时开具。如果劳动者已离开单位，应书面通知其领取。

2. 内容要求：离职证明应写明劳动合同期限、终止或解除的日期、工作岗位以及在本单位的工作年限。法律并未要求写离职原因，因此可不对此做具体描述。

3. 形式要求：离职证明应采用书面形式，以便登记或存档。

4. 签收记录：向劳动者出具离职证明后，一定要有劳动者的签收记录，以避免未来可能出现的纠纷。

综上所述，当公司解除与员工的劳动关系时，必须向员工提供离职证明。这不仅是对劳动者权益的保障，也是用人单位应尽的法定义务。