高校退出领导岗位的行政人员是可以兼职的，但需要遵守一定的规定和限制。具体来说：

1. 兼职年龄限制：兼职年龄不得超过70周岁，距年满70周岁不足1年的一般不再作为兼职人选。

2. 兼职数量限制：在社会团体兼职的数量不得超过1个。除工作特殊需要外，不得兼任社会团体法定代表人，也不得牵头成立新的社会团体或兼任境外社会团体职务。

3. 兼职职务限制：在高校、科研院所兼职的，一般不兼任领导职务，也不得兼任各类名誉、荣誉职务。

4. 兼职范围限制：如果在企业兼职，退（离）休后三年内，不得到本人原任职务管辖业务范围内的企业兼职（任职），也不得从事与原任职务管辖业务相关的营利性活动。

5. 报酬获取限制：经批准兼职的退（离）休领导人员，不得通过兼任职务领取薪酬、奖金、津贴、补贴等任何形式的报酬，也不得获取股权和其他额外利益。

综上所述，高校退出领导岗位的行政人员在兼职时需要严格遵守上述规定和限制，以确保兼职活动的合法性和合规性。如果你有更具体的情况或疑问，可以直接向我咨询，我会根据你的具体情况给出更详细的解答。