工地老板一般没有权利直接罚款工人钱，但具体情况需分以下角度分析：

1. 从劳动合同和劳动法的角度
   根据《劳动合同法》及相关规定，用人单位（包括工地老板）与劳动者建立劳动关系时，双方的权利义务应通过劳动合同明确约定。罚款属于对劳动者财产权的处分，必须基于合法有效的规章制度，且该制度需经民主程序制定、公示并告知劳动者。若工地老板未通过上述程序制定罚款规则，或罚款金额超出合理范围（如超过月工资的20%），则可能被认定为违法克扣工资，劳动者有权要求返还并主张赔偿。

2. 从行政处罚与民事责任的角度
   行政处罚权（如罚款）只能由法律授权的行政机关行使，个人或企业无权自行设立行政处罚。若工地老板以“罚款”名义扣减工资，实际可能涉及两种情形：

   • 合法扣减：如劳动者因故意或重大过失造成用人单位损失，用人单位可按劳动合同约定要求赔偿，但每月扣减部分不得超过当月工资的20%，且扣减后工资不得低于当地最低工资标准。
     
   • 违法克扣：若扣减无合法依据（如未签订书面合同、未约定赔偿条款、罚款理由与损失无关等），则属于违法行为，劳动者可向劳动监察部门投诉或申请劳动仲裁。

3. 从特殊行业规范的角度
   部分行业（如建筑、矿山）可能存在地方性法规或行业规范，允许用人单位在特定情形下对劳动者进行经济处罚（如安全违规）。但此类规定需严格符合法律授权范围，且不得与上位法冲突。若工地老板主张依据行业规范罚款，需提供具体条款并证明其合法性，否则仍可能被认定为无效。

建议行动：

• 若您被罚款，首先要求工地老板出示书面罚款依据（如劳动合同、规章制度、行业规范等）；
  
• 若无法提供或依据不合法，可拒绝缴纳并保留证据（如工资条、罚款通知、沟通记录等）；
  
• 通过劳动监察大队投诉（12333）或申请劳动仲裁，主张返还罚款及可能的经济补偿。
  

如有进一步细节（如罚款原因、金额、是否签订合同等），可随时向我补充说明，我会为您具体分析。