建筑单位一般没有权利直接罚农民工的钱，这种行为在大多数情况下是不合法的。以下是从不同角度对这一问题的详细分析：
缺乏法律依据与约定：
- 建筑单位若未在规章制度中明确规定罚款事项，或未与农民工在劳动合同中明确约定罚款条款，则随意罚款是不合法的。罚款行为必须有明确的制度依据或合同约定作为支撑。
- 即使存在相关规章制度，但若该制度的制定未经民主程序（如职工代表大会讨论、工会协商等），则该规章制度中关于罚款的规定无效，基于此进行的罚款同样不合法。
损害农民工基本权益：
- 罚款的目的应是为了规范管理，而非侵害农民工的基本权益。若罚款数额过高，导致农民工工资低于当地最低工资标准，或严重影响其维持基本生活，这种罚款行为也是不合法的。
- 根据劳动法规定，用人单位不得克扣或者无故拖欠劳动者的工资，因此以罚款名义扣减工资且影响基本生活的做法违反了劳动法规。
行政处罚权归属问题：
- 根据《中华人民共和国行政处罚法》，行政处罚由具有行政处罚权的行政机关实施。建筑单位并非行政机关，不具备行政处罚权，因此无权对农民工进行罚款。
然而，也存在一些特殊情况，使得建筑单位在特定条件下对农民工进行罚款可能被视为合法：
有明确约定且合理：若用人单位在合法制定的规章制度中明确规定了罚款的情形、幅度，并且这些规定是合理的，同时在与农民工签订的劳动合同中也有相关体现，则在农民工出现相应违规行为时，建筑单位按照规定进行罚款在一定程度上是合法的。但这种情况较为罕见，且必须严格遵守相关法律法规和程序。
造成实际损失赔偿：如果农民工因故意或重大过失给建筑单位造成了经济损失，用人单位可以要求农民工承担赔偿责任。这种情况下，从工资中扣除一定金额用于赔偿损失，不属于严格意义上的“罚款”，而是基于民事赔偿责任进行的合理扣减。但扣除的金额应限于补偿实际造成的损失，且每月扣除的部分不得超过劳动者当月工资的20%，扣除后的剩余工资部分不得低于当地月最低工资标准。
法律建议：
- 农民工如遇不合理罚款，首先应与用人单位协商解决；协商不成时，可以向当地的劳动监察部门投诉，反映工地随意罚款的情况，并要求返还所罚金额。同时，也可以申请劳动仲裁来维护自己的合法权益。
- 若用人单位存在克扣或无故拖欠农民工工资的情况，农民工不仅可以要求用人单位赔偿，还可以在符合法定条件的情况下解除劳动合同，并要求用人单位支付经济补偿金。
- 农民工在工作中应严格遵守相关规定和操作规程，确保工程质量和施工安全。若因个人原因造成损失，可能需承担相应的赔偿责任，但这应通过合法的赔偿程序来处理，而非简单的罚款方式。
总之，建筑单位对农民工罚款的合法性取决于具体情况及法律法规的规定。在实际操作中，应尊重劳动者的合法权益，遵守相关法律法规，通过合法途径解决纠纷。如有任何法律问题，可以直接向我咨询。