单位以您担任陪审员为由辞退您，属于违法行为，您有权通过法律途径维权。以下从多个角度为您详细分析：

1. 法律对陪审员权益的保护

根据《中华人民共和国人民陪审员法》第二十九条：

• 人民陪审员依法参加审判活动期间，所在单位不得克扣或者变相克扣其工资、奖金及其他福利待遇；
  
• 人民陪审员所在单位违反前款规定的，基层人民法院应当及时向人民陪审员所在单位或者其上级单位、主管部门提出纠正意见。
  
• 单位若以“担任陪审员影响工作”为由辞退您，直接违反上述规定，属于违法解除劳动合同。

2. 辞退行为的违法性分析

• 若您与单位签订的是无固定期限劳动合同或固定期限劳动合同未到期：
  单位需证明您存在《劳动合同法》第三十九条规定的严重违纪、失职等情形才能解除合同。担任陪审员是法律赋予的公民义务，不属于违纪行为，单位无权以此为由辞退。
  
• 若单位以“客观情况发生重大变化”为由解除合同（如经营困难）：
  需提前30日书面通知并支付经济补偿金（N倍工资），且需与您协商变更劳动合同内容。若未履行上述程序直接辞退，仍属违法。

3. 您的维权途径

• 协商解决：
  可要求单位出具书面辞退通知，明确辞退理由。若单位拒绝，可向当地基层人民法院反映情况（根据《人民陪审员法》第二十九条），由法院协调单位纠正。
  
• 劳动仲裁：
  若协商无果，可向劳动争议仲裁委员会申请仲裁，主张：
  
  • 确认单位解除行为违法；
    
  • 要求单位继续履行劳动合同（若您希望保留工作）；
    
  • 或要求单位支付违法解除赔偿金（2N倍工资）。
    
• 诉讼程序：
  对仲裁结果不服的，可向法院提起诉讼。

4. 证据收集建议

• 保留单位辞退通知、工资条、劳动合同等书面材料；
  
• 记录与单位沟通的过程（如录音、聊天记录）；
  
• 收集能证明您担任陪审员期间正常履职的证据（如法院出具的陪审证明、排期通知等）。

温馨提示：若单位以其他理由（如“能力不足”）间接关联您担任陪审员的行为，需结合具体证据判断是否构成违法解除。建议您根据实际情况选择维权方式，如有疑问可进一步向我咨询具体操作流程。