结论：单位工会不作为，一般不可以直接要求退会费，但可以根据具体情况采取其他合法途径维护自身权益。

分析说明：

1. 工会会费的性质与用途：

   • 工会会费是工会会员按照规定向工会组织缴纳的费用，主要用于工会活动的开展和会员服务的提供。
   • 会费的使用应遵循工会章程和相关法律法规的规定，确保用于会员的合法权益和工会事业的健康发展。

2. 工会不作为的法律定性：

   • 工会不作为可能涉及工会未履行其法定职责或未按照章程规定开展活动的情况。
   • 若工会存在不作为，会员可以通过合法途径向工会上级组织或相关部门反映情况，要求工会履行职责或改正错误。

3. 退会费的法律依据与限制：

   • 目前，我国法律法规并未明确规定工会不作为时会员可以要求退还会费。
   • 工会会费的缴纳与退还通常遵循工会章程的规定，而工会章程一般并未规定因工会不作为可以退还会费的情况。

4. 会员的合法权益维护途径：

   • 若工会存在不作为，会员可以首先尝试与工会沟通协商，要求工会履行职责或提供相应服务。
   • 若沟通协商无果，会员可以向工会上级组织或相关部门投诉举报，要求上级组织或相关部门介入调查并督促工会改正。
   • 在极端情况下，若工会的不作为严重损害了会员的合法权益，会员还可以考虑通过法律途径维护自身权益，如提起民事诉讼等。但需注意，这通常不是首选方案，且需承担一定的诉讼成本和风险。

特殊场景：

• 若工会章程或相关法律法规中有特别规定，如明确规定了工会不作为时会员可以要求退还会费的情况，则会员可以依据这些规定要求退还。但这种情况较为罕见，且需具体查看相关条款和规定。

行动建议：

• 作为工会会员，若发现工会存在不作为的情况，建议首先与工会进行沟通协商，要求工会履行职责或提供相应服务。
• 若沟通协商无果，可以向工会上级组织或相关部门投诉举报，寻求帮助和支持。
• 在维护自身权益的过程中，注意保留相关证据和材料，以便在需要时提供证明。
• 若考虑通过法律途径维护自身权益，建议咨询专业律师的意见和帮助，以确保自身权益得到充分保障。

如有更多关于劳动工伤或其他法律领域的问题，可以直接向我咨询。