雇主是否需要负责，关键在于工人翻越窗户摔伤的行为是否与执行工作任务存在关联，以及雇主是否存在过错。以下从不同角度进行分析：
一、若工人翻越窗户行为与执行工作任务存在关联
雇主可能承担责任：
- 根据《中华人民共和国民法典》第一千一百九十二条：“个人之间形成劳务关系，提供劳务一方因劳务受到损害的，根据双方各自的过错承担相应的责任。” 若工人翻越窗户是为了完成工作任务（例如取工具、查看情况等），且该行为在合理范围内，那么雇主可能需要承担一定的赔偿责任。
- 雇主的责任大小取决于其过错程度，如是否提供了安全的工作环境、是否进行了必要的安全培训等。
雇主责任的具体判定：
- 雇主需证明自己已尽到安全保障义务，如设置安全警示标识、提供安全防护设备等。
- 若雇主未能提供充分的安全保障，导致工人受伤，雇主需承担相应责任。
二、若工人翻越窗户行为与执行工作任务无关联
雇主一般不承担责任：
- 若工人翻越窗户是出于个人原因（如好奇、冒险等），与执行工作任务无关，那么雇主通常不需要承担赔偿责任。
- 在这种情况下，工人的行为属于个人行为，其后果应由个人承担。
特殊情况下的雇主责任：
- 即使工人翻越窗户的行为与执行工作任务无直接关联，但如果雇主知道或应当知道该行为存在安全隐患，且未采取必要措施防止事故发生，雇主仍可能承担一定的过错责任。
三、雇主未让工人翻窗户的影响
- 雇主未让工人翻窗户的事实，可以作为雇主已尽到一定安全提示义务的证据。但这并不意味着雇主可以完全免责，因为雇主的安全保障义务是全面的，包括提供安全的工作环境、进行必要的安全培训等。
四、建议与措施
对于雇主：
- 加强工作场所的安全管理，设置明显的安全警示标识。
- 提供必要的安全防护设备，并确保工人正确使用。
- 定期对工人进行安全培训，提高工人的安全意识。
对于工人：
- 遵守工作场所的安全规定，不进行危险行为。
- 如发现工作场所存在安全隐患，应及时向雇主报告。
综上所述，雇主是否需要负责取决于工人翻越窗户的行为是否与执行工作任务存在关联以及雇主是否存在过错。如果有任何具体的法律问题或需要进一步的法律建议，可以直接向我咨询。