公司不给员工签订无固定期限合同，会面临劳动行政部门的处罚。具体分析如下：
一. 公司不签无固定期限劳动合同的法律后果
- 支付二倍工资：根据《劳动合同法》第八十二条，用人单位违反本法规定不与劳动者订立无固定期限劳动合同的，自应当订立无固定期限劳动合同之日起向劳动者每月支付二倍的工资。这是对用人单位未履行法定义务的直接经济处罚。
- 劳动行政部门的处罚：除了支付二倍工资外，用人单位还可能面临劳动行政部门的行政处罚。具体处罚措施可能包括责令改正、罚款等，具体罚款数额可能因地区而异，如广西规定是给予300元以上3000元以下的罚款，上海规定是可以按每人500至1000元给予单位罚款处罚。
二. 实例说明
- 例如，某公司应当与员工签订无固定期限劳动合同，但拒绝签订。员工向劳动监察部门投诉，经查实后，劳动行政部门不仅可以责令公司改正，还可以对公司进行罚款处罚，并且公司需要向员工支付自应当订立无固定期限劳动合同之日起的二倍工资。
综上所述，公司不给员工签订无固定期限合同，不仅需要向员工支付二倍的工资，还可能面临劳动行政部门的行政处罚。因此，我建议公司应严格遵守法律规定，与员工签订无固定期限劳动合同，以避免不必要的法律风险和经济损失。如有进一步需要，您可以继续咨询我。