若当兵2年期间发现有犯罪记录被退回，需根据犯罪记录的性质、发现时间及部队相关规定综合处理，具体如下：

1. 犯罪记录的性质与影响
   若犯罪记录涉及严重刑事犯罪（如故意伤害、盗窃、诈骗等），且属于服役前已存在但未被查实的情况，部队通常会依据《中国人民解放军纪律条令》及相关规定，认定其不符合服役条件，作出退回原籍处理。退回后，原征集地兵役机关可能取消其入伍资格，并依据《兵役法》追究相关责任（如罚款或行政处罚）。
   若犯罪记录是服役期间新发生的，则可能涉及刑事犯罪的立案侦查，部队会移交地方司法机关处理，同时依据《军队纪律条令》给予纪律处分（如开除军籍），并终止服役关系。

2. 发现时间与处理程序

   • 服役前已存在犯罪记录：若在入伍审查阶段未被发现，服役期间通过背景调查、信息比对等方式查实，部队会启动复核程序，确认后作出退回决定。退回后，个人需配合兵役机关完成手续，并可能面临地方公安机关的进一步调查（如是否需撤销原判决、补充处罚等）。
     
   • 服役期间新犯罪：部队会立即启动军事司法程序，由军事检察院审查起诉，军事法院审判。判决后，根据刑期和犯罪性质决定是否开除军籍，并移交地方监狱执行刑罚（若需服刑）。

3. 后续法律后果与救济

   • 行政后果：被退回后，个人可能被列入“兵役失信名单”，影响未来参军、报考公务员等需要政审的场景。
     
   • 刑事后果：若犯罪记录经司法确认，需承担刑事责任（如有期徒刑、罚金等），且服刑期间不计入军龄。
     
   • 救济途径：若认为部队处理程序违法（如未依法调查、未给予陈述申辩机会），可向部队上级机关申请复议，或通过军事行政诉讼主张权利（但此类案件受理范围严格，需具体评估）。

建议行动：

1. 立即委托律师介入，核查犯罪记录的真实性、来源及部队处理程序的合法性；
   
2. 若犯罪记录有误（如身份被冒用），需通过刑事申诉程序纠正，并要求部队恢复服役关系；
   
3. 配合部队及司法机关调查，避免逃避或对抗行为加重处罚。
   

注：具体处理需结合犯罪类型、部队内部规定及地方司法政策，建议提供更多细节（如犯罪时间、罪名、部队通知内容等）进一步分析。