行政处罚听证人员不参与处罚决定的法律依据主要在于《中华人民共和国行政处罚法》的相关规定，具体分析如下：

1. 听证程序与处罚决定程序的分离：

   • 根据《中华人民共和国行政处罚法》第六十五条，听证结束后，行政机关应当根据听证笔录，依照本法第五十七条的规定作出决定。这一条款明确了听证程序与处罚决定程序是相互独立的两个阶段。听证人员负责主持听证，确保当事人的陈述、申辩权利得到充分行使，并制作听证笔录。而处罚决定则是由行政机关负责人或集体讨论后，根据听证笔录及调查结果作出的。

2. 处罚决定的作出主体：

   • 《中华人民共和国行政处罚法》第五十七条规定，调查终结后，行政机关负责人应当对调查结果进行审查，并根据不同情况分别作出决定。对于情节复杂或者重大违法行为给予行政处罚，行政机关负责人还应当集体讨论决定。这表明，处罚决定的作出主体是行政机关负责人或集体讨论机构，而非听证人员。

3. 听证人员与处罚决定人员的角色定位：

   • 听证人员的主要职责是主持听证会，确保听证会的公正、公开进行，并制作听证笔录。他们并不参与调查取证工作，也不对案件事实进行最终认定。而处罚决定人员则负责根据听证笔录及调查结果，对案件进行全面审查，并作出处罚决定。这种角色定位确保了听证人员与处罚决定人员之间的相互独立，避免了利益冲突和偏见。

4. 保障公正性的需要：

   • 将听证人员与处罚决定人员分离，有助于保障行政处罚的公正性。听证人员作为中立第三方，能够客观、公正地听取当事人的陈述和申辩，并制作听证笔录。而处罚决定人员则根据听证笔录及调查结果，独立作出处罚决定，不受听证人员意见的不当影响。这种制度设计有助于防止行政机关滥用职权或偏袒一方当事人。

在实际操作中，如果听证人员参与了处罚决定的作出过程，可能会引发对处罚决定公正性的质疑。因此，为了确保行政处罚的合法性和公正性，行政机关应当严格遵守相关法律法规的规定，确保听证人员与处罚决定人员之间的相互独立。

若您对行政处罚听证程序或处罚决定程序有任何疑问或需要进一步的法律帮助，请随时向我咨询。我将根据您的具体情况，提供详细、专业的法律意见。