与行政事业单位建立的是人事关系还是劳动关系，主要取决于劳动者是否属于该单位的事业编制人员。
人事关系：
- 如果劳动者是行政事业单位的在编人员，那么与单位之间建立的是人事关系。人事关系属于行政关系，所产生的争议属于人事争议纠纷，适用人事法规政策和人事争议处理法律制度（如《公务员法》、《人事争议处理规定》等）。事业单位与劳动者签订的是《聘用合同》。
劳动关系：
- 如果劳动者是行政事业单位的编制外人员，那么与单位之间建立的是劳动关系。劳动关系是民事法律关系，所产生的争议属于劳动争议纠纷，适用《劳动法》、《劳动合同法》等。劳动者与用人单位签订的是《劳动合同》。
综上所述，与行政事业单位建立的是人事关系还是劳动关系，关键看劳动者是否具有事业编制。如果不具有事业编制，则双方建立的是劳动关系；如果具有事业编制，则双方建立的是人事关系。如果您对此有任何疑问或需要进一步的法律咨询，请直接向我提问。