并非只有处罚才需要听证，且在行政处罚领域，也并非所有行政处罚都需要听证，而是仅在符合法定特定条件且当事人提出听证要求时，行政机关才会组织听证。以下是对这一问题的详细解答：
一、需要听证的行政处罚特定情形
较大数额罚款：
- 具体标准因地区和部门而异，例如，有的地方规定对个人罚款5000元、对法人或其他组织处以5万元以上的罚款即属于较大数额罚款。此类罚款因涉及金额较大，对当事人财产权利有重大影响，因此应当告知当事人有要求听证的权利。
没收较大数额违法所得或非法财物：
- 这类处罚同样对当事人的财产权利造成重大影响，与罚款类似，也需告知当事人听证权利。
降低资质等级或吊销许可证件：
- 这类处罚直接关乎当事人的职业或工作资格，对其从业权利产生不利影响，故应保障当事人的听证权。
责令停产停业、责令关闭或限制从业：
- 此类处罚对当事人的生产经营权或从业权利造成重大限制或剥夺，同样需要启动听证程序。
其他较重的行政处罚：
- 若拟作出的行政处罚与上述情形相类似，且对当事人的合法权益产生重大影响，也应告知并保障当事人的听证权。
法律、法规、规章规定的其他情形：
- 除上述明确列举的情形外，若法律、法规、规章另有规定需要听证的，也应依法执行。
二、听证程序的启动与进行
启动条件：
- 当事人应在行政机关告知后有要求听证的权利后5日内提出听证要求。若未在规定期限内提出，则视为放弃听证权利。
通知与准备：
- 行政机关应在举行听证的7日前，通知当事人及有关人员听证的时间、地点等事项，确保听证程序的顺利进行。
听证主持与回避：
- 听证应由行政机关指定的非本案调查人员主持，以确保公正性。当事人认为主持人与本案有直接利害关系的，有权申请回避。
听证公开原则：
- 除涉及国家秘密、商业秘密或个人隐私依法予以保密外，听证应公开举行，接受社会监督。
当事人权利：
- 在听证过程中，当事人有权进行陈述、申辩和质证，行政机关应充分听取当事人的意见，确保听证程序的公正、公平。
三、听证结果的影响
听证结果并不直接影响行政处罚的作出。听证程序旨在为当事人提供一个表达意见、维护自身权益的平台，但最终的行政处罚决定仍由行政机关根据法律规定和案件事实作出。
四、其他领域的听证
除了行政处罚领域，听证程序还广泛应用于其他法律领域，如行政许可、行政强制等，只要涉及当事人重大权益的事项，且法律、法规有明确规定，都可能启动听证程序。
综上所述，听证程序并非仅限于处罚领域，且在行政处罚中，也并非所有行政处罚都需要听证，而是仅在符合法定特定条件且当事人提出听证要求时，才会启动该程序。