认定劳动关系主要由劳动争议仲裁委员会和人民法院负责。以下是详细解释：

1. 劳动争议仲裁委员会：

   • 劳动争议仲裁委员会是解决劳动纠纷的前置程序机构。当劳动者与用人单位就劳动关系是否存在发生争议时，可以向劳动合同履行地或者用人单位所在地的劳动争议仲裁委员会提出仲裁申请。
   • 仲裁委将依据相关证据和法律规定进行审查判断，作出关于劳动关系是否成立的裁决。

2. 人民法院：

   • 若对仲裁结果不服，当事人可在规定期限内向有管辖权的人民法院提起诉讼。
   • 法院会全面审查案件事实、证据等，最终判定劳动关系是否存在。

此外，劳动行政部门在一定程度上也能协助认定劳动关系。例如，劳动监察部门在查处用人单位劳动保障违法行为过程中，可以对劳动关系相关情况进行核实和认定，其认定结果在后续处理劳动纠纷中也具有重要参考价值。

综上所述，劳动关系的认定是一个涉及多个部门的过程，其中劳动争议仲裁委员会和人民法院是主要的认定机构。如果您在这方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。