针对人民调解员失职的处理方式，需结合失职的具体情形、造成的后果以及相关法律规定来综合判断。以下是详细分析：

1. 内部纪律处分
   若失职行为未造成严重后果，但违反了调解组织内部规章制度（如未按时组织调解、未记录调解过程等），调解组织可依据内部纪律规定对调解员进行警告、通报批评、扣减绩效等处分。此类处分通常由调解委员会或上级主管部门作出，目的是规范调解员行为，提升调解质量。

2. 行政责任追究
   若失职行为违反了《人民调解法》或相关行政法规（如泄露当事人隐私、偏袒一方当事人等），司法行政部门（如司法局）可依据职权对调解员进行行政处罚，包括警告、责令改正、暂停调解工作等。情节严重的，可能取消其调解员资格，并纳入信用记录。

3. 民事赔偿责任
   若调解员的失职行为导致当事人遭受经济损失（如因调解延误导致损失扩大、因调解协议违法导致当事人履行后受损等），当事人可依据《民法典》中关于侵权责任的规定，要求调解员或调解组织承担相应的民事赔偿责任。但需注意，调解组织通常承担补充责任，且需以调解员存在重大过失为前提。

4. 刑事责任追究
   在极端情况下，若调解员的失职行为构成犯罪（如故意泄露国家秘密、滥用职权导致严重后果等），将依法追究刑事责任。但此类情形较为罕见，需满足刑法规定的犯罪构成要件。

建议行动步骤：

• 若您认为调解员存在失职行为，首先可向调解组织（如人民调解委员会）提出书面投诉，要求调查并给出处理意见；
  
• 若调解组织未妥善处理，可向当地司法行政部门（如司法局）反映情况，申请行政介入；
  
• 若因失职行为遭受损失，可收集证据（如调解记录、损失证明等），通过法律途径主张赔偿；
  
• 若涉及严重违法犯罪，可直接向公安机关报案。

温馨提示：人民调解的本质是自愿、平等、合法，调解员的行为受法律和职业道德约束。若您对调解过程或结果有异议，及时维权是合法权利，但需注意保留证据，避免情绪化主张。如有具体疑问，欢迎进一步向我咨询。