在界定退休返聘人员与用人单位之间是劳动关系还是劳务关系时，我们主要依据的是相关的法律法规以及双方权利义务的实际特征。以下是对这一问题的详细解答：

一、法律依据

1. 《中华人民共和国劳动合同法实施条例》第二十一条明确规定，劳动者达到法定退休年龄时，劳动合同终止。这意味着，一旦劳动者退休，他们就不再符合建立劳动关系的主体资格。

2. 《中华人民共和国劳动合同法》第四十四条也进一步规定，劳动者开始依法享受基本养老保险待遇时，劳动合同同样终止。这再次强调了退休人员与用人单位之间无法建立劳动关系。

3. 最高人民法院《关于审理劳动争议案件适用法律若干问题的解释（三）》第七条明确指出，用人单位与已享受养老保险待遇或领取退休金的人员之间的用工争议，应按劳务关系处理。这是法律对退休返聘人员与用人单位关系性质的直接规定。

二、社会保险角度

退休返聘人员已经开始享受基本养老保险待遇，根据社会保险制度的规定，他们无法再参加职工社会保险。因此，从社会保险缴纳的可行性来看，双方也无法建立劳动关系。

三、权利义务特征

1. 劳务关系中，双方的权利和义务主要依据双方自愿签订的劳务合同来确定，具有较大的灵活性。退休返聘人员与用人单位之间的关系更符合这一特征，他们通过劳务合同明确工作内容、工作时间、薪酬待遇等条款。

2. 劳动关系中的权利义务则更多由法律强制规定，如最低工资标准、加班工资、带薪年假等。而退休返聘人员与用人单位之间的关系不受这些特殊规定的约束。

四、实际操作层面

1. 在实际操作中，由于退休返聘人员已经享受了养老保险待遇，用人单位无需再为其缴纳社会保险费用。

2. 双方在解除劳务合同时也无需遵循劳动法中关于经济补偿金等的特殊规定，这进一步体现了劳务关系的灵活性。

五、特殊情况说明

尽管在一般情况下退休返聘人员与用人单位构成劳务关系，但在某些特殊情况下（如当地有特别规定或存在其他特殊情形），双方的关系认定可能会有所不同。因此，在实际操作中应综合考虑各种因素进行具体判断。

总结：

退休返聘人员与用人单位之间建立的是劳务关系，而非劳动关系。这一结论不仅符合法律法规的明确规定，也体现了双方在实际操作中的灵活性和自主性。对于用人单位和退休返聘人员而言，明确这一法律关系有助于更好地维护各自的权益并促进双方的合作与发展。在签订退休返聘协议时，双方应明确各自的权利和义务，以避免因误解法律关系而产生的纠纷。