对于灵活就业的人员来说，单位是否只交工伤保险这个问题，首先我们需要明确一点：灵活就业人员本身是无法直接购买工伤保险的。这是因为工伤保险是由雇主承担并为其员工投保的，个人无需支付费用。这是根据《中华人民共和国社会保险法》第三十三条明确规定的，职工应当参加工伤保险，由用人单位缴纳工伤保险费，职工个人不缴纳工伤保险费。

那么，对于灵活就业人员而言，如果他们想要获得工伤保险的保障，就必须先与用人单位建立合法的劳动关系。在这样的劳动关系下，用人单位会按照法律规定为其员工，包括灵活就业人员，缴纳工伤保险费。这样，灵活就业人员在工作中受伤时，就能得到相应的工伤保险保障。

至于“单位是否只交工伤保险”，这并不是一个固定的答案。因为对于用人单位来说，除了工伤保险外，他们还需要根据法律规定为员工缴纳其他社会保险，如养老保险、医疗保险、失业保险等。这些社会保险的缴纳是用人单位的法定义务，与员工的就业形式（无论是全日制还是灵活就业）无关。

所以，总的来说，灵活就业人员不能直接购买工伤保险，但可以通过与用人单位建立合法劳动关系来获得工伤保险的保障。而用人单位在为员工缴纳社会保险时，并不仅仅局限于工伤保险，还需要缴纳其他法定社会保险。