工会委员调离、辞职或退休时，其工会职务的处理需依据《中国工会章程》及相关规定进行，具体处理方式如下：

1. 调离或辞职
   工会委员因工作调动离开原单位，或主动辞职的，其工会委员职务自动终止。根据《中国工会章程》第十三条，工会委员的任期与同级工会代表大会的届期一致，若委员调离原选举单位或不再从事工会工作，其职务即行终止。此时需由原选举单位工会委员会报上级工会备案，并通知本人。

2. 退休
   工会委员退休后，其委员职务原则上自动终止。但若退休后仍被返聘或继续在原单位从事工会相关工作，且符合委员条件（如未丧失会员资格），可经工会委员会提议、会员大会或会员代表大会表决通过后保留职务。不过实践中，多数情况下退休即意味着职务终止，需按程序补选新委员。

3. 补选程序
   无论因调离、辞职还是退休导致委员空缺，均需在3个月内完成补选。补选流程为：

   • 由原选举单位工会委员会提出补选人选；
     
   • 召开会员大会或会员代表大会，以无记名投票方式选举；
     
   • 补选结果报上级工会批准后生效。
     若空缺期间不影响工作，也可经上级工会同意后暂不补选，待下次代表大会统一换届。

4. 特殊情况处理

   • 委员资格丧失：若委员被依法剥夺政治权利或受到开除会籍处分，其职务立即终止，无需补选。
     
   • 职务保留的例外：极少数情况下，如委员退休后仍担任工会顾问等职务，且对工会工作有重大贡献，可经上级工会特批保留委员身份，但需严格限定条件。

建议：若您或您所在单位遇到此类情况，可先核查工会章程及地方性规定，明确具体流程。如有争议或需进一步指导，欢迎随时向我咨询，我会结合实际情况为您提供详细方案。