当业委会不作为，而业主希望召开业主大会时，可以按照以下步骤进行：
一、了解相关法规与指导细则
首先，业主需要了解当地关于业主大会和业主委员会的相关法规，比如《湖南省业主大会和业主委员会指导细则》（若您所在地区为湖南，其他地区可查找对应条例）或其他地方性物业管理条例。这些法规通常会明确业主大会的召开条件、召集程序以及业主委员会的职责等。
二、判断业委会不作为的情况
在确认业委会确实存在不作为的情况后（例如，未按照法规或业主大会议事规则履行职责，或长时间不组织召开业主大会等），业主可以采取进一步行动。
三、提议召开业主大会
业主提议：根据相关法规，经全体业主一定比例（如五分之一以上，具体比例需参照当地法规）的提议，业主委员会应召开业主大会临时会议。若业委会不响应此提议，则进入下一步。
向街道（乡镇）申请：若业主委员会应当召开业主大会会议或者业主大会临时会议而不组织召集的，业主可以向街道办事处或者乡镇人民政府提出申请，要求其召集业主大会。根据法规，街道（乡镇）有责任指导和监督业主大会和业主委员会依法履行职责，并调解相关纠纷。
四、街道（乡镇）召集业主大会
街道（乡镇）在收到业主的申请后，会按照相关法规和程序，组织成立筹备组（如果尚未成立），并在规定时间内（如30天内）召集业主大会。筹备组负责完成筹备工作，包括确定会议时间、地点、议程等，并通知全体业主。
五、业主大会的召开与决策
在业主大会上，业主们可以就共同关心的问题进行讨论和表决。根据法规，业主大会的议事规则通常涵盖表决规则、业委会委员资格与任期、补选罢免程序等事项。业主们应按照这些规则进行决策，确保会议的合法性和有效性。
六、后续监督与跟进
业主大会召开后，业主们还可以设立业主监督委员会（如果法规允许且业主们认为有必要），对业主委员会作出决定的程序、内容进行审查，防止其违反管理规约或侵害公共利益。同时，业主们也应持续关注业委会的工作情况，确保其按照业主大会的决策和法规要求履行职责。
概括起来，当业委会不作为时，业主可以通过了解相关法规、向街道（乡镇）申请召集业主大会等方式来维护自己的权益。在整个过程中，业主们应保持理性、合法和有序的态度，确保业主大会的顺利召开和有效决策。