认定劳动关系主要依据的是劳动和社会保障部发布的《关于确立劳动关系有关事项的通知》（劳社部发〔2005〕12号）。以下是对如何认定劳动关系的详细解答：

一、劳动关系成立的基本条件

当用人单位招用劳动者，即使未订立书面劳动合同，但同时满足以下三个条件时，劳动关系即成立：

1. 主体资格：用人单位和劳动者必须符合法律、法规规定的主体资格。这意味着用人单位必须是依法成立的法人或其他组织，而劳动者则必须是具备劳动能力的自然人。

2. 劳动管理与报酬：用人单位依法制定的各项劳动规章制度必须适用于劳动者，劳动者需接受用人单位的劳动管理，并从事用人单位安排的有报酬的劳动。这表明劳动者在用人单位的指挥和监督下工作，并因此获得相应的劳动报酬。

3. 业务组成部分：劳动者提供的劳动必须是用人单位业务的组成部分。这意味着劳动者的工作内容与用人单位的经营活动紧密相关，是用人单位实现其业务目标不可或缺的一部分。

二、认定劳动关系的参照凭证

在用人单位未与劳动者签订劳动合同的情况下，认定双方存在劳动关系时，可以参照以下凭证：

1. 工资支付凭证或记录：如职工工资发放花名册、缴纳各项社会保险费的记录等，这些凭证能够证明劳动者与用人单位之间存在经济往来。

2. 身份证明证件：用人单位向劳动者发放的“工作证”、“服务证”等能够证明身份的证件，这些证件能够表明劳动者在用人单位的身份和地位。

3. 招用记录：劳动者填写的用人单位招工招聘“登记表”、“报名表”等招用记录，这些记录能够证明劳动者与用人单位之间存在招用关系。

4. 考勤记录：考勤记录能够证明劳动者在用人单位的工作时间和出勤情况，是认定劳动关系的重要依据之一。

5. 其他劳动者的证言：其他劳动者的证言也可以作为认定劳动关系的参考依据，特别是当其他劳动者与争议双方无利害关系时，其证言更具可信度。

三、特殊情况下的劳动关系认定

在建筑施工、矿山企业等特殊行业中，如果用人单位将工程（业务）或经营权发包给不具备用工主体资格的组织或自然人，那么对该组织或自然人招用的劳动者，由具备用工主体资格的发包方承担用工主体责任。这意味着在这种情况下，即使劳动者没有直接与发包方签订劳动合同，但发包方仍需对劳动者承担相应的法律责任。

四、争议解决途径

如果劳动者与用人单位就是否存在劳动关系引发争议，可以向有管辖权的劳动争议仲裁委员会申请仲裁。仲裁委员会将根据双方提供的证据和法律规定，对争议进行裁决。

综上所述，认定劳动关系需要综合考虑多个方面的因素，包括主体资格、劳动管理与报酬、业务组成部分以及参照凭证等。在特殊情况下，还需要根据相关法律法规进行特殊处理。如果劳动者与用人单位之间存在争议，可以通过仲裁等法律途径进行解决。