劳动行政部门有权对未签劳动合同的单位进行罚款，具体分析如下：

1. 法律依据
   根据《中华人民共和国劳动合同法》第八十二条，用人单位自用工之日起超过一个月不满一年未与劳动者订立书面劳动合同的，应当向劳动者每月支付二倍的工资。同时，根据《劳动保障监察条例》第三十条，劳动行政部门对违反劳动保障法律、法规或规章的行为，可责令改正，并处以罚款。因此，未签劳动合同的行为属于劳动行政部门可处罚的范畴。

2. 罚款的具体情形

   • 未签书面合同：若用人单位未在用工之日起一个月内与劳动者签订书面劳动合同，劳动行政部门可责令限期改正；逾期不改正的，将处以2000元以上2万元以下罚款。
     
   • 未签无固定期限合同：若符合签订无固定期限劳动合同条件（如连续工作满十年、连续订立两次固定期限合同等），而用人单位拒绝签订的，劳动行政部门同样可责令改正并罚款。
     
   • 其他关联处罚：若未签合同导致劳动者权益受损（如未缴纳社保、拖欠工资等），劳动行政部门可并处其他处罚，如补缴社保、支付赔偿金等。

3. 实务中的注意事项

   • 处罚对象：罚款针对的是用人单位，而非劳动者或直接责任人。
     
   • 程序要求：劳动行政部门需先责令改正，逾期未改才会罚款，体现“教育为主、处罚为辅”的原则。
     
   • 证据收集：劳动者需保留用工证明（如工资条、考勤记录、工作证等），以支持劳动行政部门的调查和处罚。
     

建议：若您或您所在的单位遇到此类问题，可进一步向我咨询具体应对策略，包括如何补签合同、规避法律风险或申请行政复议等。