被单位除名，退休时工龄的计算需视具体情况而定，并非一定不算工龄。下面我根据相关法律法规为你详细分析：

一. 除名对工龄的影响

1. 一般情况：根据《中华人民共和国劳动保险条例实施细则修正草案》第十章第三十九条第六款规定，被开除或者被判刑者，如果开除或者判刑前未缴社会养老保险费用，则不能计算工龄，即没有视同缴费年限。但如果你在被除名前已经缴纳了社会养老保险费用，那么这段缴费年限是可以计算的。

2. 特殊情况：如果单位对你的除名处理存在错误，或者后来经过复查被撤销，那么你在该单位的工作时间仍然应该计算为工龄。

二. 工龄与退休金的关系

工龄是计算退休金的重要因素之一。一般来说，工龄越长，退休金就越高。因此，如果被单位除名的部分时间能够计算为工龄，那么对你的退休金是有积极影响的。

三. 建议

1. 查询个人社保记录：建议你首先查询自己的个人社保记录，看看在被除名前是否已经缴纳了社会养老保险费用。

2. 咨询当地社保部门：对于工龄的具体计算，可能因地区而异。因此，我建议你咨询当地社保部门，了解具体的计算方法和规定。

3. 保留相关证据：如果你认为单位对你的除名处理存在错误，或者后来经过复查被撤销，那么你应该保留好相关证据，以便在需要时证明自己的工龄。

综上所述，被单位除名后，退休时工龄的计算并非一定不算，而是需要根据具体情况来确定。如有进一步需要，你可以继续咨询我。