针对您提出的外派员工实际工龄如何认定的问题，这确实是一个涉及劳动法规和社保政策的复杂问题。以下是我根据您提供的信息以及相关政策规定，为您做出的详细解答：
首先，我们需要明确的是，工龄的认定通常与社保缴纳情况紧密相关。在大多数情况下，只有单位成建制地为员工缴纳了职工养老保险费的年限，才能被认定为连续工龄。这是基于《青海省人力资源和社会保障厅关于事业单位新聘用人员工龄认定有关问题的通知》(青人社厅发〔2023〕361号)等相关政策规定。
针对您个人的情况，我们可以分阶段来看：
在中央驻青单位工作期间：
- 您提到在此期间签订的是非全日制用工合同，且单位未缴纳社保。根据政策规定，非全日制用工且未缴纳社保的期间，通常不被认定为工龄。
个人建档立户缴纳社保期间：
- 您从2014年开始自己建档立户缴纳社保。根据《青海省人力资源和社会保障厅关于机关事业单位部分新录用(聘用)人员工龄认定问题的通知》(青人社厅发〔2009〕50)等规定，个人以灵活就业人员身份缴纳养老保险的年限，一般不能计算为工龄。
与劳务派遣公司签订合同期间：
- 您在2018年与一家劳务派遣公司签订合同，并前往青海省银行业协会工作，期间缴纳了社保。如果劳务派遣公司是以单位成建制的方式为您缴纳了职工养老保险费，那么这段时间原则上应被认定为连续工龄。但具体还需核实劳务派遣公司是否确实以单位名义为您缴纳了社保，以及缴纳的社保是否符合政策规定。
与银行业协会签订劳动合同期间：
- 您后续与协会签订劳动合同，并由协会缴纳社保。这段时间的工龄认定应无争议，因为协会作为您的直接用人单位，为您缴纳了社保。
针对您提出的争议点，即单位认为某些期间不应认定为工龄，而您认为不合理的情况，我建议您采取以下措施：
- 与单位沟通：首先，您可以与单位的人力资源部门或相关负责人进行沟通，明确表达您的诉求和依据的政策规定，看是否能够达成共识。
- 咨询社保部门：如果与单位沟通无果，您可以咨询当地的社保部门或劳动监察部门，了解具体的工龄认定政策和流程，以及您个人情况下的工龄认定可能性。
- 申请工龄认定：根据咨询结果，如果符合政策规定，您可以向单位或社保部门提出工龄认定的申请，并提供相关的证明材料，如劳动合同、社保缴纳记录等。
最后，我想强调的是，工龄的认定是一个复杂且严谨的过程，需要依据具体的政策规定和个人的实际情况来进行。如果您在申请过程中遇到任何困难或疑问，都可以随时向我咨询或寻求相关部门的帮助。