业主在电话中表示“不管他事”不能直接认定为弃权，需结合具体情况判断。具体分析如下：

1. 弃权的法律定义与形式要求
   根据《民法典》第140条，行为人可以明示或默示作出意思表示。弃权通常需业主以明确方式表示放弃投票权（如书面声明、主动声明弃权），仅以“不管他事”等模糊表述，难以直接推定为弃权意图。若业主未明确表示放弃，其沉默或消极态度一般不构成法律上的弃权。

2. 业主未明确表态的法律后果
   若业主未参与投票且未明确弃权，其投票权通常视为未行使，而非自动弃权。此时：

   • 若会议有法定人数要求（如《物业管理条例》规定双过半），未投票业主可能被计入“未参与”范畴，但不影响已投票业主的表决结果；
     
   • 若章程或法律明确规定“未投票视为同意/反对”，则需按具体规则处理，但此类条款需业主事先同意（如写入业主大会议事规则），否则可能因侵犯业主权利而被认定无效。

3. 实务建议

   • 对业主：若想明确弃权，建议通过书面、邮件或会议记录等方式留存证据，避免口头表述引发争议；
     
   • 对组织方：应通过公告、短信等方式明确告知业主投票规则（包括弃权方式、未投票的后果），并留存送达证据。若业主未表态，可按“未参与”处理，但不得擅自将其归类为弃权或默认同意。

总结：业主的模糊表述需结合具体规则和证据综合判断，不能直接认定为弃权。若有进一步争议，建议提供具体章程条款或会议记录，我可协助分析法律后果。