物业公司不能仅以业委会决议无效为由直接拒绝退出，具体需分情况讨论：
一、业委会决议的效力对物业公司退出的直接影响
业委会决议合法有效时：
- 根据《物业管理条例》等相关法律法规，业委会作为业主大会的执行机构，有权代表业主与物业公司签订物业服务合同，并有权在合同到期或符合解约条件时，作出要求物业公司退出的决议。
- 若业委会的决议程序合法、内容合规，且未侵犯物业公司的合法权益，物业公司应当遵守该决议，按时退出物业管理区域。
业委会决议存在瑕疵或无效时：
- 如果业委会的决议存在程序瑕疵（如未召开业主大会、未达到法定投票比例等）或内容违法（如侵犯物业公司合法权益、违反法律法规强制性规定等），则该决议可能被认定为无效或可撤销。
- 但物业公司不能仅凭自行判断决议无效就拒绝退出。物业公司应当通过法律途径（如提起诉讼或申请仲裁）来确认决议的无效性，并在获得法院或仲裁机构的生效裁决后，再决定是否退出。
二、物业公司拒绝退出的法律后果
若物业公司无正当理由拒绝退出：
- 物业公司可能构成违约，需要承担违约责任，包括赔偿业主因此遭受的损失。
- 业主或业委会可以依法向人民法院提起诉讼，要求物业公司退出物业管理区域，并可能要求物业公司支付违约金或赔偿损失。
若物业公司因业委会决议无效而拒绝退出，但未通过法律途径确认：
- 物业公司可能面临被认定为擅自占用物业管理区域的风险，同样需要承担相应的法律责任。
- 业主或业委会可以依法向相关部门投诉或举报，要求物业公司立即退出，并可能面临行政处罚。
三、建议与措施
对于物业公司：
- 在收到业委会要求退出的决议后，应首先审查决议的合法性和有效性。
- 如果认为决议存在瑕疵或无效，应及时通过法律途径寻求确认，而不是直接拒绝退出。
- 在法律程序进行期间，应保持与业主或业委会的沟通，避免矛盾激化。
对于业主或业委会：
- 在作出要求物业公司退出的决议时，应确保决议程序合法、内容合规。
- 如果物业公司拒绝退出，应及时通过法律途径维护自身权益，包括提起诉讼或申请仲裁。
- 在法律程序进行期间，可以寻求相关部门的协助或调解，以尽快解决纠纷。
总结来说，物业公司不能仅以业委会决议无效为由直接拒绝退出。在面对此类情况时，物业公司应通过法律途径来确认决议的无效性，并在获得生效裁决后再决定是否退出。同时，业主或业委会也应依法维护自身权益，确保物业管理区域的正常秩序。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。