结论：工人到了工地没干活就走丢，责任归属需根据具体情况判断，可能涉及雇主责任、工人自身责任或第三方责任。以下从不同角度进行分析：
雇主责任角度：
- 安全保障义务：根据《中华人民共和国民法典》及相关劳动法律法规，雇主对工人负有安全保障义务。这包括提供安全的工作环境、进行必要的安全教育和培训，以及采取合理措施防止工人受到伤害。如果工人走丢是因为工地安全管理存在漏洞，如未设置围挡、未安排专人看管等，导致工人能够轻易离开工地并走丢，那么雇主可能需要承担一定的责任。
- 雇佣关系下的管理责任：在雇佣关系中，雇主对工人有一定的管理责任。如果雇主未尽到合理的管理义务，如未及时清点人数、未关注工人的动态等，导致工人走丢，雇主也可能需要承担相应的责任。但这种责任通常较轻，因为工人作为成年人，应具备一定的自我保护意识和能力。
工人自身责任角度：
- 自我保护意识：工人作为成年人，应具备一定的自我保护意识和能力。如果工人因个人原因（如擅自离岗、迷路等）走丢，且雇主已尽到合理的安全保障和管理义务，那么工人自身可能需要承担主要责任。
- 故意或重大过失：如果工人走丢是因为故意违反工地规定或存在重大过失（如醉酒后离岗等），那么工人不仅应自行承担责任，还可能因此受到雇主的纪律处分或法律追究。
第三方责任角度：
- 第三方侵权：如果工人走丢是因为遭受了第三方的侵权行为（如被绑架、被拐骗等），那么第三方应承担相应的法律责任。在这种情况下，雇主和工人可能都不是直接责任方，但雇主仍需配合相关部门进行调查和处理。
- 不可抗力或意外事件：如果工人走丢是因为不可抗力或意外事件（如自然灾害、交通事故等）导致，且雇主已尽到合理的安全保障和管理义务，那么责任可能由相关保险机构或社会救助体系承担。
建议：
- 对于雇主而言，应加强工地的安全管理，完善安全制度，定期对工人进行安全教育和培训，提高工人的安全意识和自我保护能力。同时，应建立有效的人员管理制度，及时清点人数，关注工人的动态，防止类似事件的发生。
- 对于工人而言，应增强自我保护意识，遵守工地规定，不擅自离岗或从事危险行为。如果遇到困难或危险情况，应及时向雇主或相关部门求助。
- 如果发生工人走丢的情况，雇主应立即报警并配合相关部门进行调查和处理。同时，应积极与工人家属沟通，提供必要的帮助和支持。
后续行动：
- 如果您是雇主或工人，且遇到了类似问题，建议及时收集相关证据（如监控录像、证人证言等），以便在需要时证明自己的清白或追究相关责任方的责任。
- 如有需要，您可以随时向我咨询相关法律问题，我会根据您的具体情况提供专业的法律建议和帮助。