缴税记录可以作为确认劳动关系的一个辅助证据，但通常不是唯一或决定性的证据。在劳动关系确认的过程中，需要综合考虑多个方面的证据。

首先，根据劳动法的相关规定，劳动关系的确认需要考察用人单位和劳动者是否符合法律、法规规定的主体资格，劳动者是否受用人单位的劳动管理并从事其安排的有报酬的劳动，以及劳动者提供的劳动是否是用人单位业务的组成部分。这些都是确认劳动关系的基本要素。

其次，缴税记录作为劳动者在用人单位工作期间的一种经济活动的记录，确实可以在一定程度上反映劳动者与用人单位之间的经济联系。然而，它并不能直接证明劳动者与用人单位之间存在劳动关系，因为缴税记录可能涉及多种经济活动和收入来源。

为了更全面地证明劳动关系，劳动者可以收集并提供其他相关证据，如工作证、工作服、考勤记录、工资单、社保缴纳记录、劳动合同等。这些证据能够更直接地反映劳动者在用人单位的工作情况和身份。

综上所述，虽然缴税记录可以作为确认劳动关系的一个参考因素，但并不能单独作为确认劳动关系的决定性证据。在确认劳动关系时，需要综合考虑多个方面的证据和情况，以确保结果的准确性和公正性。