不举行听证会的法律责任主要取决于具体的法律程序和案件类型，以下从几个常见角度进行分析：
行政处罚中的听证程序：
- 在行政处罚中，如果法律、法规规定应当举行听证，而行政机关未举行，这可能构成程序违法。根据《中华人民共和国行政处罚法》的相关规定，当事人有权要求听证，行政机关应当根据当事人的要求组织听证。若未依法组织，行政处罚决定可能被撤销或确认违法，行政机关还可能因此承担相应的法律责任，如被上级机关责令改正，对直接负责的主管人员和其他直接责任人员依法给予处分。
- 例子：假设某企业因环境污染被环保部门拟处以高额罚款，企业要求听证但环保部门未举行，直接作出了罚款决定。企业可以依法申请行政复议或提起行政诉讼，要求撤销该罚款决定，并可能要求环保部门承担因程序违法而造成的损失。
刑事诉讼中的听证（虽不常见，但某些程序类似）：
- 在刑事诉讼中，虽然“听证”一词不常见，但类似程序如庭前会议、逮捕必要性审查等，都涉及对案件事实的听取和审查。若相关机关未依法进行这些程序，可能影响案件的公正处理，但通常不直接称为“不举行听证会的法律责任”，而是可能构成程序违法或证据收集不合法等。
- 特殊情况：在取保候审等刑事强制措施的适用中，虽然不直接称为“听证”，但公安机关、人民检察院、人民法院在决定时，应当听取犯罪嫌疑人、被告人的意见和申辩。若未听取，可能影响决定的合法性，犯罪嫌疑人、被告人可以依法提出异议或申诉。
民事诉讼中的听证（如证据交换、庭前会议等）：
- 在民事诉讼中，听证可能以证据交换、庭前会议等形式出现。若法院未依法组织这些程序，可能影响案件的审理效率和公正性，但通常不直接产生法律责任，而是可能作为程序瑕疵在上诉或再审中被考虑。
- 例子：在一起复杂的合同纠纷中，法院未组织庭前会议进行证据交换，导致庭审中双方对证据的真实性、合法性产生争议，影响了庭审效率。当事人可以在上诉时提出这一点，作为法院程序违法的理由之一。
其他特定程序中的听证：
- 在某些特定程序中，如土地征收、房屋拆迁等，法律可能规定应当举行听证会以听取相关利益方的意见。若未举行，可能构成程序违法，相关行政行为可能被撤销或确认违法，并可能承担赔偿责任。
- 例子：在某城市的旧城改造项目中，政府未依法组织听证会就作出了拆迁决定，导致部分居民不满并提起行政诉讼。法院可能因政府未履行听证程序而判决撤销拆迁决定，并要求政府重新组织听证并作出合法决定。
总结与建议：
- 不举行听证会的法律责任因具体程序和案件类型而异，可能涉及行政处罚的撤销、刑事诉讼程序的违法、民事诉讼程序的瑕疵或特定行政行为的违法等。
- 若您面临相关情况，建议首先了解具体程序和案件类型的法律规定，明确是否应当举行听证会以及未举行的法律后果。
- 如有需要，您可以直接向我咨询，我会根据您的具体情况提供详细的法律分析和建议。