在工伤认定过程中，社会保险行政部门并不一定要到单位进行实地调查，而是会根据具体情况和审核需要，灵活采用多种方式和渠道进行证据收集与核实。

首先，工伤认定的申请是向社会保险行政部门提交的，而非必须到单位进行。申请主体可以是职工所在单位，也可以是工伤职工本人、其近亲属或工会组织，在特定时限内提出申请。

在调查核实阶段，社会保险行政部门有权根据需要对事故伤害进行调查。这包括但不限于对相关人员进行询问，如工伤职工本人、同事、目击者等，以了解事故发生的经过和原因；查阅医疗机构的诊断证明、病历资料，核实受伤情况和治疗过程；以及调取其他相关部门证明材料，如公安机关的事故责任认定书（在涉及交通事故时）。

虽然到单位调查并非必须，但在某些情况下，它可能是获取关键证据的重要途径。例如，当劳动关系存在争议或不明确时，需要查阅劳动合同、工资发放记录等；或者为了了解工作环境和工作流程，特别是对于因工作环境或流程导致的工伤事故，实地考察可能更为直观和有效；此外，与用人单位沟通，了解其意见和态度，以及是否愿意承担责任，也是调查过程中的一个重要环节。

然而，对于事实清楚、证据充分的工伤认定案件，社会保险行政部门可以依据申请人提供的材料直接作出认定决定，无需进一步调查核实。同样，如果依法取得了职业病诊断证明书或职业病诊断鉴定书，社会保险行政部门也将不再对该职业病进行额外的调查核实。

总的来说，工伤认定过程中的调查与核实是一个灵活且多渠道的过程。社会保险行政部门会根据具体情况和审核需要进行相应的调查和证据收集，以确保工伤认定的准确性和公正性。因此，用人单位和相关方应积极配合并协助调查工作，共同维护工伤职工的合法权益。