结论前置：

1. 公司不开离职证明是违法的，但这并不影响你在其他单位上班的合法性。
2. 你在其他单位上班本身并不违法，但缺乏离职证明可能会给你在新单位入职时带来一些麻烦。

详细分析：

一、公司不开离职证明的违法性

根据《中华人民共和国劳动合同法》第五十条的规定，用人单位在解除或终止劳动合同时，必须出具解除或终止劳动合同的证明。这是公司的法定义务，如果公司拒绝开具离职证明，就违反了这一法律规定。

二、你在其他单位上班的合法性

1. 劳动关系转移：你与原公司的劳动关系已经解除或终止，因此你有权与其他单位建立新的劳动关系。只要新单位愿意聘用你，并且你符合新单位的招聘条件，你就可以在新单位上班。
2. 离职证明的作用：离职证明主要是用于证明你与原公司已经解除了劳动关系，避免在新单位入职时产生劳务纠纷。但它并不是你能否在其他单位上班的法定条件。也就是说，即使没有离职证明，你仍然有权在其他单位上班。

三、缺乏离职证明可能带来的麻烦

1. 新单位入职：虽然离职证明不是入职的法定条件，但很多新单位在入职时会要求提供离职证明作为入职材料之一。如果缺乏离职证明，可能会影响你顺利入职新单位。
2. 社保关系转移：离职证明也是办理社保关系转移等手续时必不可少的材料。如果缺乏离职证明，可能会导致你的社保关系无法及时转移，进而影响你的社保权益。

四、建议与措施

1. 与公司协商：首先，你可以尝试与公司进行友好协商，要求公司依法出具离职证明。在协商时，你可以明确说明法律规定及自身需求，以促使公司尽快出具离职证明。
2. 向劳动行政部门投诉：如果协商无果，你可以向当地的劳动行政部门投诉。根据《中华人民共和国劳动合同法》第八十九条的规定，劳动行政部门将责令用人单位改正；若给劳动者造成损害，用人单位还需承担赔偿责任。
3. 申请劳动仲裁或提起诉讼：在协商和投诉均无法解决问题的情况下，你可以向劳动争议仲裁委员会申请仲裁。对仲裁结果不满意的，还可以在规定时间内向人民法院提起诉讼，以进一步维护自己的合法权益。

总结： 公司不开离职证明是违法的，但这并不影响你在其他单位上班的合法性。然而，缺乏离职证明可能会给你在新单位入职时带来一些麻烦。因此，我建议你积极与公司协商，要求公司依法出具离职证明。如果协商无果，你可以向劳动行政部门投诉或申请劳动仲裁、提起诉讼来维护自己的合法权益。如果你还有其他法律问题或需要进一步的帮助，请随时向我咨询。