结论前置：在劳务派遣到用工单位五年且不是辅助性、替代性岗位的情况下，劳动关系的认定通常仍归属于劳务派遣单位，但用工单位可能因违法使用劳务派遣而承担相应法律责任。以下是对此问题的详细分析：
劳务派遣的基本法律关系：
- 根据《中华人民共和国劳动合同法》的相关规定，劳务派遣单位是用人单位，应当履行用人单位对劳动者的义务，包括签订劳动合同、支付工资、缴纳社会保险等。
- 被派遣劳动者在用工单位工作，但与用工单位之间并不建立直接的劳动关系，而是形成劳务关系。用工单位负责提供劳动条件、进行劳动管理，并支付劳务派遣单位约定的费用。
非辅助性、替代性岗位的影响：
- 劳动合同法规定，劳务派遣一般在临时性、辅助性或者替代性的工作岗位上实施。如果用工单位违反这一规定，在非辅助性、替代性岗位上使用劳务派遣劳动者，这并不改变劳务派遣的基本法律关系。
- 然而，用工单位的这种违法行为可能导致其面临劳动行政部门的处罚，如责令限期改正、罚款等。同时，如果因此给劳动者造成损害的，用工单位与劳务派遣单位还可能承担连带赔偿责任。
劳动关系认定的关键因素：
- 劳动关系的认定主要依据劳动合同的签订情况、工资支付记录、社会保险缴纳情况等。在劳务派遣中，这些义务通常由劳务派遣单位履行，因此劳动关系也归属于劳务派遣单位。
- 即使劳动者在用工单位工作多年，只要其与劳务派遣单位的劳动合同有效存在，且劳务派遣单位持续履行其义务，劳动关系的认定就不会改变。
特殊情况下的劳动关系认定：
- 如果劳务派遣单位与用工单位之间的劳务派遣协议无效或被撤销，或者劳务派遣单位未履行其作为用人单位的义务，导致劳动者权益受损的，劳动者可能主张与用工单位建立事实劳动关系。但这种情况需要具体分析，并依据相关法律法规和司法实践进行判断。
法律建议：
- 对于劳务派遣劳动者而言，如果发现自己被违法派遣到非辅助性、替代性岗位工作，可以向劳动行政部门投诉，要求用工单位改正违法行为。
- 如果因此给劳动者造成损害的，劳动者可以要求劳务派遣单位和用工单位承担连带赔偿责任。
- 对于用工单位而言，应严格遵守劳动合同法的规定，合理使用劳务派遣，避免在非辅助性、替代性岗位上使用劳务派遣劳动者，以减少法律风险。
可能法律后果：
- 如果用工单位违法使用劳务派遣劳动者，可能面临劳动行政部门的处罚，如罚款、责令限期改正等。
- 如果因此给劳动者造成损害的，用工单位和劳务派遣单位可能需要承担连带赔偿责任，包括支付赔偿金、补缴社会保险等。
如有更多关于劳务派遣或劳动关系认定的问题，可以直接向我咨询。