针对业委会主任不作为且拿着公章不给的情况，你可以采取以下措施：
尝试沟通协商：
- 首先，可以尝试与业委会主任进行友好沟通，了解其不作为的具体原因，以及为何不愿意交出公章。有时候，问题可能源于误解或沟通不畅，通过协商可能能够找到解决方案。
依据业主大会议事规则或管理规约采取行动：
- 如果沟通无果，你可以查阅小区的业主大会议事规则或管理规约，看其中是否有关于业委会主任不作为或公章管理的具体规定。
- 根据这些规定，你可以联合其他业主，通过召开业主大会或业主委员会会议的方式，对业委会主任的行为进行审议，并作出相应的决议，如要求其交出公章或进行罢免。
向相关部门投诉或举报：
- 如果业委会主任的行为违反了相关法律法规或小区的管理规定，你可以向当地的房地产管理部门、街道办事处或社区居委会等部门进行投诉或举报。
- 这些部门有权对业委会的工作进行监督和管理，并可能介入调查，采取相应的措施来解决问题。
考虑法律途径：
- 如果上述方法均无法解决问题，你可以考虑通过法律途径来维护自己的权益。例如，你可以向法院提起诉讼，要求业委会主任交出公章或承担因其不作为而给小区造成的损失。
- 在提起诉讼前，建议你收集好相关证据，如业主大会的决议、与业委会主任的沟通记录、小区管理规定等，以支持你的诉讼请求。
法律背景与建议：
- 根据《物业管理条例》等相关法律法规，业主委员会是业主大会的执行机构，负责执行业主大会的决定事项。业委会主任作为业主委员会的负责人，应当履行其职责，为小区的共同利益服务。
- 如果业委会主任不作为或滥用职权，损害了小区业主的共同利益，业主们有权通过合法途径来维护自己的权益。
- 在处理此类问题时，建议你保持冷静和理性，避免采取过激或违法的行为。同时，也要注重保护自己的合法权益，不要因为一时的冲动而给自己带来不必要的麻烦。
可能面临的法律后果：
- 如果业委会主任的行为确实违反了法律法规或小区的管理规定，其可能会面临行政处罚、民事赔偿等法律后果。
- 同时，如果业主们通过合法途径成功维护了自己的权益，业委会主任也可能需要承担相应的法律责任，如交出公章、赔偿损失等。
总结与进一步思考：
- 面对业委会主任不作为且拿着公章不给的情况，业主们应当积极采取措施来维护自己的权益。通过沟通协商、依据规定采取行动、向相关部门投诉或举报以及考虑法律途径等方式，都有可能解决问题。
- 在处理此类问题时，业主们也需要注重团结和协作，共同为小区的共同利益而努力。同时，也要加强自我保护意识，避免因为一时的疏忽而给自己带来不必要的损失。
如果你在此过程中遇到任何法律问题或需要进一步的法律帮助，可以直接向我咨询。