结论：工伤不给认定时，用人单位是否有责任需分情况讨论，具体如下：

1. 基于工伤认定结果，用人单位通常无需承担工伤赔偿责任

根据《工伤保险条例》的规定，只有职工因工作原因受到事故伤害或者患职业病，且经工伤认定的，才能享受工伤保险待遇。若伤害明确不属于工伤范畴，用人单位在工伤赔偿方面无需承担责任。此时，劳动者受到的伤害视为非因工受伤，相关费用和责任原则上由劳动者自行承担。例如，员工在非工作时间、非工作场所，因个人原因受伤，且该伤害与工作无直接关联，那么用人单位在工伤赔偿方面通常无需负责。

1. 存在特定情形时，用人单位仍可能需承担法律责任

   • 存在侵权行为：如果员工的受伤是由于单位的侵权行为导致的，即使不属于工伤，单位也需要承担侵权责任。例如，单位的建筑物或设备存在安全隐患，导致员工在单位内正常活动时受伤，单位作为侵权方应依据《中华人民共和国民法典》等相关法律规定承担赔偿责任，包括医疗费、误工费、护理费等。
   • 未履行法定义务：单位有提供符合国家规定的劳动安全卫生条件和必要的劳动防护用品的义务，同时也有依法为员工缴纳社会保险的义务。若单位未履行这些义务，致使员工受到伤害（即便不认定为工伤），单位也可能要承担相应责任。比如，单位未依法为员工缴纳基本医疗保险，导致员工无法享受相应的医保待遇，那么单位可能需要在医保报销范围内承担赔偿责任。
   • 基于劳动合同约定：若劳动合同中有特殊约定，比如在某些特定非工伤情形下单位需给予员工一定补偿或承担一定责任，那么单位应按照合同约定履行义务。

法律建议：

• 对于劳动者而言，如果认为自己的伤害应该被认定为工伤但未被认定，可以依法申请行政复议或提起行政诉讼，以维护自己的合法权益。
• 对于用人单位而言，应严格遵守相关法律法规，履行法定义务，如提供安全的劳动环境、缴纳社会保险等，以减少潜在的法律风险。同时，在劳动合同中明确双方的权利和义务，避免不必要的纠纷。

可能的法律后果：

• 如果用人单位存在侵权行为或未履行法定义务，导致员工受伤且需承担法律责任，那么用人单位可能面临赔偿医疗费、误工费、护理费等经济损失，甚至可能面临行政处罚或刑事责任。
• 如果劳动者对工伤认定结果有异议并提起行政复议或行政诉讼，且最终认定其伤害属于工伤，那么用人单位需按照工伤保险条例的规定承担相应的赔偿责任。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。