退休返聘合同到期，一般能要回被公司扣留未发的绩效工资。具体分析如下：

首先，退休返聘人员与公司之间建立的是劳务关系，而非劳动关系。但即便如此，双方的权利义务仍应受到合同的约束。如果退休返聘合同中明确约定了绩效工资的发放条件和时间，那么公司应当按照约定履行，不得无故扣留。

其次，从法律角度来看，虽然劳务关系不受《劳动合同法》等劳动法律的调整，但仍然受《民法典》等民事法律的规范。《民法典》中明确规定了合同双方应当遵循诚实信用原则，按照约定全面履行自己的义务。因此，如果公司扣留了退休返聘人员的绩效工资，且没有合理的法律依据或合同依据，那么这种行为就可能构成违约，退休返聘人员有权要求公司支付。

最后，如果双方就绩效工资的发放存在争议，可以先尝试通过协商解决。如果协商无果，退休返聘人员可以依法向法院提起诉讼，维护自己的合法权益。

综上所述，退休返聘合同到期时，如果公司扣留了未发的绩效工资，且没有合理的依据，那么退休返聘人员一般有权要求公司支付。如果遇到困难，建议及时向我咨询，我会提供专业的法律帮助。