可以提起行政诉讼，但需满足一定条件，且需区分不同情况。具体分析如下：

1. 针对行政单位不办理社保的行政诉讼
   根据《行政诉讼法》第十二条，公民认为行政机关侵犯其社会保险权益（如未依法缴纳社保、未办理社保登记等），有权提起行政诉讼。但需注意：

   • 前置程序：若涉及社保缴费争议，通常需先通过劳动仲裁或社保部门投诉处理（如《社会保险法》第八十三条），对结果不服方可起诉；
     
   • 被告主体：若单位未依法缴纳社保，被告可能是社保征收机构（如税务局）或社保经办机构，而非直接起诉行政单位本身；
     
   • 诉讼时效：需在知道权益受损之日起6个月内提起（特殊情况可延长）。

2. 针对行政单位不办理退休手续的行政诉讼
   若行政单位拒绝办理退休手续（如拖延审批、错误认定退休条件等），属于行政不作为或违法行政行为，可直接提起行政诉讼。关键点包括：

   • 证明行政单位职责：需提供证据（如单位规章制度、政策文件）证明其负有办理退休手续的法定义务；
     
   • 程序合法性：若单位以“材料不全”“条件不符”等理由拒绝，需审查其拒绝理由是否合法、程序是否合规；
     
   • 损害后果：需证明因单位不作为导致无法领取养老金、医保待遇等实际损失。

3. 例外情形与建议

   • 内部申诉优先：若涉及公务员内部管理（如单位内部退休审批流程），可先通过行政申诉、复核等途径解决；
     
   • 证据收集：建议提前收集劳动合同、社保缴费记录、单位通知、沟通记录等证据；
     
   • 专业协助：行政诉讼程序复杂，建议委托律师协助起草起诉状、参与庭审，以提高胜诉率。

行动建议：若您已尝试与单位协商、投诉无果，可携带相关证据材料，进一步向我咨询具体诉讼策略及风险评估。