结论：在此情况下，责任归属需根据具体情况来判断，可能涉及老板、你以及工地方面的责任。以下是对此问题的详细分析：
老板的责任：
- 雇主责任：根据《中华人民共和国民法典》的相关规定，雇主对雇员在从事雇佣活动中遭受的人身损害应承担赔偿责任。但在此案例中，是你不小心撞了工地工人，而非你自身受伤，所以这一条款不直接适用于你撞人的情况。然而，如果老板指示你进行的活动本身存在安全隐患，或者老板未提供必要的安全培训和防护措施，老板可能因未尽到安全管理义务而承担一定责任。
- 车辆管理责任：老板作为工程三马车的所有者，有责任确保车辆的安全使用。如果车辆存在故障或安全隐患，且老板未进行及时维修或告知，老板可能因车辆管理不善而承担部分责任。
你的责任：
- 直接侵权责任：作为直接操作工程三马车并导致事故发生的人，你需承担因过失或疏忽导致的侵权责任。这包括赔偿受伤工人的医疗费用、误工费、残疾赔偿金等。
- 职务行为责任：如果你是以老板的名义、在老板的指示下进行活动，那么你的行为可能被视为职务行为。在这种情况下，虽然你个人需承担侵权责任，但老板也可能因你的职务行为而承担连带责任，尤其是在老板对事故的发生存在过错时。
工地方面的责任：
- 安全保障义务：工地作为施工场所，有责任确保施工区域的安全。如果工地未设置明显的安全警示标志、未采取必要的安全防护措施，或者工地管理存在疏忽，导致你无法及时避让或造成事故，工地方面也可能承担一定责任。
建议：
- 立即报告：首先，应立即向老板报告事故情况，并尽快通知受伤工人及其家属，确保受伤工人得到及时救治。
- 收集证据：收集与事故相关的所有证据，包括现场照片、视频、证人证言等，以便后续处理责任认定和赔偿问题。
- 协商解决：在责任明确之前，可以尝试与受伤工人及其家属、老板以及工地方面进行协商，寻求和解方案，以减少纠纷和诉讼成本。
- 法律途径：如果协商无果，或者责任归属存在争议，建议寻求法律途径解决。可以咨询专业律师（即我本人，潘雨阳律师，专注于交通事故、劳动纠纷领域），了解具体法律程序和赔偿标准，以便更好地维护自身权益。
后续行动：
- 在处理此类事故时，务必保持冷静和理性，避免情绪化行为导致事态恶化。
- 积极配合相关部门（如交警、劳动监察部门等）的调查和处理工作，提供真实、准确的证据和信息。
- 根据事故处理结果和律师建议，及时采取后续行动，如赔偿、诉讼等。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。