退休返聘人员因绩效打分不胜任工作，用人单位不可以直接解除劳务关系。以下是从不同角度对此问题的详细分析：
一、法律关系性质
退休返聘人员与用人单位之间建立的是劳务关系，而非劳动关系。劳务关系主要受《中华人民共和国民法典》的调整，而非《中华人民共和国劳动法》或《中华人民共和国劳动合同法》。在劳务关系中，双方的权利义务主要通过劳务合同来约定，且劳务合同的内容相对灵活，不受劳动法律法规的严格限制。
二、解除劳务关系的条件
合同约定：如果劳务合同中明确约定了因绩效不胜任工作可以解除劳务关系的条款，且该条款不违反法律法规的强制性规定，那么用人单位在符合合同约定条件的情况下，可以解除劳务关系。但需要注意的是，这种解除应当遵循合同约定的程序和方式，不能随意解除。
协商一致：即使劳务合同中没有明确约定解除条件，用人单位也可以与退休返聘人员协商一致解除劳务关系。协商一致解除是双方自愿的行为，不违反法律法规的强制性规定，因此是合法的。
法定解除：在劳务关系中，法定解除的情形相对较少。一般来说，只有当退休返聘人员严重违反用人单位的规章制度、严重失职或营私舞弊给用人单位造成重大损害等情形时，用人单位才可能依据法律法规的规定解除劳务关系。而单纯的绩效不胜任工作，并不构成法定解除的理由。
三、绩效不胜任工作的处理
对于退休返聘人员绩效不胜任工作的情况，用人单位应当采取更为合理和人性化的处理方式，例如：
培训或调整岗位：用人单位可以为退休返聘人员提供必要的培训，帮助其提高工作能力；或者根据其实际情况调整工作岗位，使其能够更好地发挥余热。
协商解除：如果经过培训或调整岗位后，退休返聘人员仍然无法胜任工作，用人单位可以与其协商一致解除劳务关系，并按照合同约定或法律法规的规定支付相应的经济补偿。
四、法律后果
如果用人单位未经合理程序，仅因绩效不胜任工作就直接解除与退休返聘人员的劳务关系，可能面临以下法律后果：
支付经济补偿：如果解除行为被认定为违法解除，用人单位可能需要按照劳务合同的约定或法律法规的规定支付经济补偿。
承担赔偿责任：如果解除行为给退休返聘人员造成了损失，用人单位还可能需要承担相应的赔偿责任。
建议：用人单位在处理退休返聘人员绩效不胜任工作的问题时，应当遵循合同约定和法律法规的规定，采取合理和人性化的处理方式。如果确实需要解除劳务关系，应当与退休返聘人员协商一致，并按照合同约定或法律法规的规定支付相应的经济补偿。如果您有进一步的法律问题或需要更具体的法律建议，请直接向我咨询。