社保部门直接认定劳动关系的法律依据主要来源于我国的相关法律法规以及部门规章。以下是对此问题的详细解答：

首先，根据《劳动和社会保障部关于确立劳动关系有关事项的通知》第二条，当用人单位未与劳动者签订劳动合同时，社保缴纳记录可以作为认定双方存在劳动关系的重要参考凭证。这一规定明确了社保缴纳记录在法律上的证明效力，使得社保部门在特定情况下可以直接依据社保缴纳记录来认定劳动关系。

其次，从《工伤保险条例》的角度来看，该条例第十八条规定了提出工伤认定申请应当提交的材料，其中包括与用人单位存在劳动关系（包括事实劳动关系）的证明材料。这表明，在工伤认定过程中，人社部门有权审核并确认职工与用人单位之间的劳动关系。而最高人民法院《关于劳动行政部门在工伤认定程序中是否具有劳动关系确认权的请示的批复》也进一步确认了劳动行政部门在工伤认定程序中具有认定受到伤害的职工与企业之间是否存在劳动关系的职权。

综上所述，社保部门在特定情况下（如工伤认定）可以直接认定劳动关系，其法律依据主要包括《劳动和社会保障部关于确立劳动关系有关事项的通知》、《工伤保险条例》以及最高人民法院的相关批复。这些法律法规和部门规章为社保部门直接认定劳动关系提供了明确的法律支撑和依据。

需要注意的是，虽然社保缴纳记录是认定劳动关系的重要证据，但并非唯一证据。在实际情况中，还需要结合其他相关证据（如工资支付凭证、工作证、考勤记录等）来综合判断劳动关系的存在与否。同时，如果双方存在代缴社保等特殊情况，也需要根据具体情况进行法律分析和判断。