结论：当事人可以拒绝不是由听证主持人送达的听证通知书，但需根据具体情况判断拒绝的合理性与法律后果。以下从法律程序、实践操作及风险防范三个角度展开分析：
一、法律程序角度：送达主体与程序合法性是关键
根据《行政处罚法》第六十四条及《行政许可法》第四十八条的规定，听证通知书的送达主体虽未明确限定为“听证主持人”，但需满足程序合法性要求：
- 送达主体资格：听证通知书通常由行政机关（如案件调查部门或法制机构）制作并送达，听证主持人仅在听证会召开时履行主持职责，不直接参与前期送达程序。因此，非听证主持人送达通知书本身不必然导致程序违法。
- 程序合法性核心：关键在于送达方式是否符合《民事诉讼法》关于送达的规定（如直接送达、留置送达、邮寄送达等）。若送达方式合法（如通过EMS邮寄并留存签收记录），即使非听证主持人送达，仍视为有效送达。
- 例外情形：若行政机关未依法送达（如未留存送达回证、未采用法定送达方式），或送达内容存在瑕疵（如未明确听证时间、地点），当事人可主张程序违法并拒绝参加听证，此时行政机关可能面临听证程序被撤销或重新进行的风险。
二、实践操作角度：当事人拒绝听证的合理性与风险
- 合理拒绝的情形：
- 送达主体明显越权：如听证通知书由与案件无关联的第三方（如其他部门工作人员）送达，且无行政机关授权文件，当事人可质疑送达合法性并拒绝。
- 送达内容存在重大瑕疵：如通知书未载明听证主持人姓名、听证事项或权利义务，导致当事人无法准备陈述申辩，可拒绝参加并要求补正。
- 风险防范建议：
- 书面提出异议：若当事人认为送达程序违法，应在收到通知书后立即以书面形式向行政机关提出异议，明确拒绝理由（如送达主体不适格、程序瑕疵等），并保留送达回证、异议函等证据。
- 避免直接缺席：单纯因“非听证主持人送达”而拒绝听证，可能被行政机关认定为“无正当理由拒不参加”，导致听证程序视为放弃，影响后续救济权利。建议结合送达程序的具体瑕疵提出异议，而非仅以送达主体为由拒绝。
三、风险后果与救济途径
- 行政机关可能采取的措施：
- 若当事人拒绝听证且行政机关认为送达程序合法，可能直接作出行政决定，并在决定书中载明“当事人拒不参加听证”的理由。
- 若送达程序确实违法，行政机关可能重新送达通知书并组织听证，或因程序违法被复议机关/法院撤销原决定。
- 当事人的救济权利：
- 行政复议：若行政机关因当事人拒绝听证而作出不利决定，当事人可在知道该决定后60日内申请行政复议，主张程序违法。
- 行政诉讼：若复议未获支持，可在收到复议决定书后15日内或直接在知道原行政行为后6个月内提起行政诉讼，请求法院撤销违法决定。
总结建议：当事人不应仅因“非听证主持人送达”而直接拒绝听证，而应重点审查送达程序是否合法、内容是否完整。若存在程序瑕疵，应通过书面异议明确拒绝理由并保留证据；若无瑕疵，建议参加听证以充分行使陈述申辩权。如有疑问，可进一步向我咨询具体案件细节。