物业不作为，业主在特定情况下是可以要求退还物业费或者减免物业费的，但并非绝对，需要视具体情况而定。以下从不同角度为您详细分析：

一、法律依据与原则

根据《物业管理条例》以及相关法律法规，物业服务企业应当按照物业服务合同的约定，提供相应的服务。如果物业服务企业未能履行物业服务合同的约定，导致业主人身、财产安全受到损害的，应当依法承担相应的法律责任。这构成了业主可以要求退还或减免物业费的基本法律原则。

二、具体情形分析

1. 物业未履行合同义务

   • 如果物业合同中明确规定了物业应提供的服务内容（如安保、清洁、绿化等），而物业未能履行这些义务，业主有权要求物业承担违约责任。
   • 在这种情况下，业主可以通过与物业协商、向物业主管部门投诉或提起诉讼等方式，要求物业退还或减免相应部分的物业费。

2. 物业服务质量不达标

   • 即使物业提供了服务，但如果服务质量明显不达标（如清洁不彻底、安保措施不到位等），业主也有权提出异议。
   • 业主可以收集证据（如照片、视频、证人证言等），证明物业服务质量存在问题，并据此要求物业改进服务或退还/减免物业费。

3. 物业擅自提高收费标准

   • 如果物业未经业主同意擅自提高物业费收费标准，业主有权拒绝支付超出部分。
   • 在这种情况下，业主可以向物业主管部门投诉或提起诉讼，要求物业按照原合同约定的标准收取物业费。

三、实际操作建议

1. 收集证据

   • 业主在要求退还或减免物业费前，应尽可能收集相关证据，以证明物业存在不作为或服务质量不达标的情况。
   • 证据可以包括照片、视频、证人证言、物业合同、缴费凭证等。

2. 与物业协商

   • 在收集到足够证据后，业主可以先尝试与物业进行协商，要求物业退还或减免相应部分的物业费。
   • 协商过程中，业主应保持冷静和理性，明确表达自己的诉求和理由。

3. 寻求第三方调解或仲裁

   • 如果协商无果，业主可以寻求第三方调解或仲裁机构的帮助，以解决纠纷。
   • 调解或仲裁过程中，业主应积极配合并提供相关证据，以维护自己的合法权益。

4. 提起诉讼

   • 如果调解或仲裁仍无法解决问题，业主可以向人民法院提起诉讼，要求物业退还或减免物业费。
   • 诉讼过程中，业主应遵守法庭纪律，如实陈述事实并提供证据。

四、注意事项

• 业主在要求退还或减免物业费时，应确保自己的诉求合理合法，避免无理取闹或恶意拖欠物业费。
• 业主应了解并遵守物业合同中的相关条款和规定，以维护自己的合法权益同时也不损害物业的合法权益。

总结来说，物业不作为时业主在特定情况下可以要求退还或减免物业费，但需要视具体情况而定并遵循一定的法律程序和实际操作建议。如果您在处理此类纠纷时遇到任何问题或需要进一步的法律帮助，请随时向我咨询。