人民调解员不可以随意解聘或开除。具体分析如下：

1. 人民调解员的选任与解聘程序
   根据《中华人民共和国人民调解法》第十三条、第十四条及第十五条的规定，人民调解员由人民调解委员会委员和人民调解委员会聘任的人员担任，其选任需经推选、公示、任命等法定程序。对于解聘或免职，法律明确要求必须由人民调解委员会集体讨论决定，并需符合法定情形（如严重违反职业道德、工作失职造成重大后果等）。因此，解聘行为具有严格的程序性约束，并非由个人或单位随意决定。

2. 解聘的法定情形与限制
   法律未赋予任意解聘权，仅在以下情形下可解聘：

   • 人民调解员主动申请辞职；
     
   • 因健康原因无法继续履职；
     
   • 严重违反调解纪律或职业道德（如偏袒一方、泄露隐私、索取财物等）；
     
   • 因工作失职导致严重后果（如调解协议违法、引发群体性事件等）。
     若不符合上述情形，解聘行为可能因缺乏法律依据而被认定为违法。

3. 随意解聘的法律后果
   若人民调解委员会未遵循法定程序或无正当理由解聘，可能面临以下风险：

   • 行政责任：上级司法行政部门可责令改正，对直接责任人员给予处分；
     
   • 民事责任：若解聘导致调解员经济损失（如误工费、名誉损害等），可能需承担赔偿责任；
     
   • 程序违法性：解聘决定可能被法院或仲裁机构撤销，恢复调解员职务或赔偿损失。

4. 救济途径
   若调解员认为解聘违法，可通过以下方式维权：

   • 向当地司法行政部门申请行政复议；
     
   • 提起行政诉讼，要求确认解聘行为违法并赔偿损失；
     
   • 通过调解组织内部申诉机制主张权利。

建议：若您或他人涉及人民调解员解聘争议，需重点审查解聘程序是否合法、理由是否充分，并保留相关证据（如聘任合同、解聘通知、工作记录等）。如有疑问，可直接向我咨询具体法律适用问题。