结论：雇人干活时，雇工不在现场受伤，雇主是否有责任需根据具体情况判断，主要取决于雇主是否存在过错以及雇工受伤与工作是否有关联。以下从不同角度进行分析：
一、雇主存在过错的情况
未尽到安全保障义务：
- 如果雇主在安排工作时，未对工作场所、工作设备等进行必要的安全检查，或者未提供必要的安全防护措施，导致雇工在非现场但因工作相关原因（如前往工作地点的途中、为工作准备工具等）受伤，雇主可能需要承担相应的赔偿责任。
- 例子：雇主让雇工去远处取工具，但未告知路途中的危险情况，也未提供必要的防护措施，雇工在取工具途中受伤，雇主可能需负责。
指示或选任过失：
- 如果雇主在指示雇工工作时，给出了错误的指示或选择了不适合的雇工，导致雇工在非现场受伤，雇主也可能需要承担一定的责任。
- 例子：雇主明知雇工不具备某种技能或经验，仍指示其从事相关工作，雇工在准备或执行工作时受伤，雇主可能需承担部分责任。
二、雇主不存在过错的情况
雇工个人原因受伤：
- 如果雇工的受伤完全是由于其个人原因（如疏忽大意、违反安全规定、故意自伤等）导致的，且与工作无直接关联，那么雇主通常不需要承担责任。
- 例子：雇工在非工作时间、非工作地点，因个人娱乐活动受伤，与工作无关，雇主无需负责。
第三人原因受伤：
- 如果雇工的受伤是由第三人造成的，且雇主对此没有过错，那么雇主通常也不需要承担责任。但雇主可能需要根据相关法律规定，协助雇工向第三人追偿。
- 例子：雇工在前往工作地点的途中，被第三方车辆撞伤，雇主无过错，无需直接承担责任，但可协助雇工向肇事方索赔。
三、特殊情况：雇佣关系与承揽关系的区分
- 在某些情况下，雇主与雇工之间的关系可能更接近于承揽关系而非雇佣关系。在承揽关系中，承揽人（即雇工）在完成工作过程中受伤，除非定作人（即雇主）存在定作、指示或者选任过失，否则定作人通常不承担赔偿责任。
- 例子：雇主将一项装修工程承揽给雇工，雇工在装修过程中受伤，如果雇主在选任承揽人时没有过错，且未对装修过程进行不当指示，那么雇主通常不需要承担责任。
法律建议
- 明确雇佣关系：雇主与雇工之间应明确雇佣关系，签订书面合同，明确双方的权利和义务。
- 加强安全保障：雇主应尽到安全保障义务，为雇工提供必要的安全防护措施和培训。
- 及时处理事故：一旦发生事故，雇主应积极协助雇工处理，包括提供必要的医疗救助和协助索赔。
- 咨询专业律师：对于复杂的劳动纠纷案件，建议雇主及时咨询专业律师，以便更好地维护自身权益。
总结：雇人干活时，雇工不在现场受伤，雇主是否有责任需根据具体情况判断。雇主应尽到安全保障义务，避免指示或选任过失，并在事故发生后积极处理。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。