违法违建听证会通常由城乡规划主管部门或者城市管理综合行政执法部门组织。以下是对这一问题的详细分析：

一、组织部门

在违法违建的处理过程中，听证会是一个重要的程序环节，它旨在保障当事人的合法权益，确保行政处罚的公正性和合理性。根据相关法律法规和实际操作经验，违法违建听证会一般由城乡规划主管部门或者城市管理综合行政执法部门负责组织。这些部门在发现违法违建行为后，会依法进行调查取证，并在作出行政处罚决定前，告知当事人有要求举行听证的权利。

二、听证会的目的和程序

1. 目的：听证会的主要目的是听取当事人的陈述和申辩，以及相关证据和意见，以便行政机关能够全面、客观地了解案件事实，作出公正、合理的行政处罚决定。

2. 程序：

   • 告知权利：行政机关在作出行政处罚决定前，应当告知当事人有要求举行听证的权利。
   • 提出申请：当事人要求听证的，应当在行政机关告知后一定期限内提出申请。
   • 组织听证：行政机关收到听证申请后，应当在规定期限内组织听证，并通知当事人及有关人员参加。
   • 听证过程：听证会由行政机关指定的非本案调查人员主持，当事人有权进行陈述、申辩和质证，并可以提出新的证据。
   • 作出决定：听证会结束后，行政机关应当根据听证笔录，依法作出行政处罚决定。

三、当事人的权利和义务

在违法违建听证会中，当事人享有以下权利：

1. 申请听证权：当事人有权在行政机关告知后要求举行听证。
2. 陈述申辩权：当事人有权在听证会上进行陈述和申辩，提出自己的观点和理由。
3. 质证权：当事人有权对行政机关提出的证据进行质证，提出异议和反驳。

同时，当事人也应当履行以下义务：

1. 遵守听证纪律：当事人应当遵守听证会的纪律和规定，不得扰乱听证秩序。
2. 提供真实证据：当事人应当提供真实、有效的证据来支持自己的观点和理由。

四、法律后果

如果当事人不要求听证或者放弃听证权利，行政机关将依法直接作出行政处罚决定。如果当事人要求听证并参加了听证会，但行政机关仍然认为其违法行为成立并需要处罚的，行政机关将依法作出行政处罚决定，并告知当事人有申请行政复议或提起行政诉讼的权利。

如果您在违法违建方面遇到任何问题或需要进一步的法律帮助，请直接向我咨询。