连续工作十年以上的行政单位临聘人员并非绝对不能辞退，但辞退的合法性需根据具体情况判断。以下从合法辞退和违法辞退两种情形，以及实际操作中的综合判断角度，为您详细分析：
一、合法辞退的情形
劳动者存在过错
- 根据《劳动合同法》第三十九条，如果临聘人员严重违反用人单位的规章制度（如多次无故旷工、严重违反操作流程导致重大生产事故等），或者同时与其他用人单位建立劳动关系对完成本单位工作任务造成严重影响且拒不改正，以及以欺诈、胁迫手段订立或变更劳动合同致使合同无效，用人单位可以解除劳动合同，且无需支付经济补偿。
- 举例：某行政单位临聘人员小李，因多次无故旷工，严重违反了单位的考勤制度，单位在多次警告无效后，可以依据《劳动合同法》的相关规定，合法辞退小李，且无需支付经济补偿。
特定情形下的经济性裁员
- 尽管《劳动合同法》规定，在本单位连续工作满十年且距法定退休年龄不足十年的员工，通常不得依照该法第四十条、第四十一条的规定解除劳动合同，但在用人单位因经营困难等原因确需进行经济性裁员，并严格按照《劳动合同法》第四十一条规定的程序和条件执行时（如提前三十日向工会或全体职工说明情况，听取意见后裁减，并向劳动行政部门报告），可以辞退包括这类临聘人员在内的员工，但需依法支付经济补偿。
- 举例：某行政单位因机构改革，需要裁减部分人员，其中包括一名连续工作十年的临聘人员小张。单位在提前三十日向工会说明情况，听取意见后，向劳动行政部门报告，并依法支付了小张经济补偿，这种裁员行为是合法的。
二、违法辞退的情形
- 如果用人单位没有法定理由，仅凭个人喜好或其他不合理原因随意辞退工作十年以上的临聘人员，则属于违法辞退。在这种情况下，劳动者有权要求用人单位继续履行劳动合同；若劳动者不要求继续履行或劳动合同已无法继续履行，用人单位需按照经济补偿标准的二倍向劳动者支付赔偿金。
- 举例：某行政单位临聘人员小王，工作表现一直良好，但因与单位领导发生个人矛盾，被领导随意辞退。这种辞退行为没有法定理由，属于违法辞退，小王有权要求单位继续履行劳动合同或支付赔偿金。
三、实践中需综合判断
- 在实际操作中，判断能否辞退连续工作十年以上的临聘人员，需综合考虑双方签订的劳动合同内容、用人单位的规章制度以及相关法律法规的具体规定。例如，如果劳动合同中明确约定了辞退的条件和程序，且这些条件和程序不违反法律法规的规定，那么用人单位可以按照合同约定辞退临聘人员。
- 建议：作为行政单位，在面临辞退临聘人员的问题时，应咨询专业法律人士（即向我咨询），确保辞退行为的合法性和合理性，避免因违法辞退而承担不必要的法律责任。
综上所述，对于连续工作十年以上的行政单位临聘人员的辞退问题，需严格遵循《劳动合同法》的相关规定，并根据具体情况进行综合判断。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。