单位不给开非个人原因解除劳动证明，劳动者可以向劳动行政部门投诉，由劳动行政部门责令单位改正；若给劳动者造成损害的，单位还应当承担赔偿责任。以下是对此问题的详细分析：

一. 单位的法律义务

1. 根据《中华人民共和国劳动合同法》第五十条，用人单位应当在解除或者终止劳动合同时出具解除或者终止劳动合同的证明。这是单位的法定义务，必须履行。

二. 劳动者的权利与救济途径

1. 如果单位不履行出具解除或终止劳动合同证明的义务，劳动者可以向当地的劳动行政部门投诉。
2. 根据《中华人民共和国劳动合同法》第八十九条，劳动行政部门会责令单位改正其违法行为。
3. 若因单位未出具证明给劳动者造成损害的，如影响劳动者就业、办理社保转移等，单位还应当承担赔偿责任。

三. 实际操作建议

1. 保留证据：劳动者应保留与单位沟通的记录、劳动合同等相关证据，以备后续投诉或诉讼之需。
2. 及时投诉：如果单位拒绝出具证明，劳动者应及时向劳动行政部门投诉，以维护自己的合法权益。
3. 寻求赔偿：如果因单位的行为给劳动者造成了实际损失，劳动者可以在投诉时一并要求单位承担赔偿责任。

综上所述，单位不给开非个人原因解除劳动证明是违法行为，劳动者有权向劳动行政部门投诉并要求单位改正。如果因此给劳动者造成损害，单位还应承担赔偿责任。如有进一步需要，您可以继续咨询我。