可以申请劳动仲裁，但能否获得支持需分情况讨论。具体分析如下：

1. 关于失业保险期间“偷偷上班”的法律性质
   失业保险金的领取条件是“非因本人意愿中断就业且已办理失业登记”。若您在领取失业保险金期间已与新单位建立劳动关系（无论是否签订书面合同），根据《社会保险法》第五十一条，属于“重新就业”情形，社保部门有权停发失业保险金并要求退还已领取部分。但此行为主要涉及行政法律关系（社保部门与您之间），不直接决定劳动仲裁的胜败。

2. 被新单位辞退的劳动仲裁可行性
   若您与新单位已形成事实劳动关系（如实际提供劳动、接受管理），被辞退后可申请劳动仲裁主张权益，常见诉求包括：

   • 违法解除赔偿金：若单位无法证明辞退合法理由（如严重违纪、不能胜任工作等），可能构成违法解除，需支付2N倍经济补偿（N为工作年限）。
     
   • 未签合同双倍工资：若未签订书面合同，可主张自用工次月起至离职日的双倍工资差额（最长11个月）。
     
   • 工资、加班费等：若单位拖欠工资或加班费，可一并主张。
     

关键点：需证明与单位存在劳动关系（如工资记录、考勤、工作证等）。若单位以“欺诈领取失业金”为由抗辩，此属于社保行政处罚范畴，不影响劳动仲裁中劳动关系及辞退合法性的认定。

1. 潜在风险：社保部门的追责
   若社保部门发现您在领取失业金期间重新就业，可能要求退还已领取的失业金，并可能处以罚款（《社会保险法》第八十八条）。但此与劳动仲裁是两个独立法律程序，互不影响。

建议行动步骤：

1. 收集与新单位的劳动关系证据（如工资转账记录、工作群聊天记录、考勤记录等）；
   
2. 明确辞退原因（如单位是否出具书面辞退通知、是否说明理由）；
   
3. 同步处理社保问题：若收到社保部门退还通知，可协商或通过行政复议/诉讼解决；
   
4. 尽快申请劳动仲裁（时效为离职后1年内），避免超期。
   

如有进一步证据或细节需要分析，可直接向我咨询。