员工离职时，其持有的公司4%股份的退回方式需根据具体情况确定，主要取决于公司章程、股东协议或劳动合同中的相关约定，以及公司法和相关法规的规定。以下分情况详细说明：

1. 有明确约定的情况
   如果公司章程、股东协议或劳动合同中明确规定了员工离职时股份的处理方式（如强制回购、转让给其他股东或公司、按特定价格回购等），则应按照约定执行。

   • 回购主体：可能是公司本身，也可能是其他股东或第三方。
     
   • 回购价格：可能是原始出资额、评估价值、净资产份额或协商价格等，需以约定为准。
     
   • 操作流程：需按照约定履行通知、评估、付款等程序，避免违约。

2. 无明确约定的情况
   若没有相关约定，则需依据《公司法》及相关法规处理：

   • 有限责任公司：
     
     • 离职股东有权要求公司或其他股东收购其股份，但需协商一致。
       
     • 若协商不成，可通过诉讼解决，但法院可能不支持强制回购，除非存在欺诈、胁迫等情形。
       
   • 股份有限公司：
     
     • 离职股东可通过证券市场转让股份（如公司上市或挂牌）。
       
     • 若未上市，需与其他股东协商转让，或依据公司章程处理。
       

3. 特殊情形

   • 股权激励计划：若股份是通过股权激励获得，可能涉及服务期、业绩条件等限制，需按计划规则处理。
     
   • 技术入股或干股：若股份是作为技术贡献或奖励获得，可能需评估其性质（如是否为附条件赠与）后确定退回方式。
     

建议：

• 优先协商：与公司或其他股东友好协商，明确退回方式、价格和时间，避免纠纷。
  
• 审查文件：仔细查阅公司章程、股东协议和劳动合同，确认是否有相关约定。
  
• 法律程序：若协商无果，可依据《公司法》或合同约定，通过诉讼或仲裁解决。
  

如有具体条款或背景信息，可进一步向我说明，我会为你提供更精准的分析。