在税务行政复议或行政诉讼败诉后，追究税务人员责任需根据具体情形，通过法定程序和证据来主张，主要途径包括内部行政追责和外部法律追责。具体分析如下：

1. 内部行政追责
   若败诉原因系税务人员存在行政违法行为（如程序违法、滥用职权、玩忽职守等），可依据《行政机关公务员处分条例》《税收违法违纪行为处分规定》等规定，通过以下程序追究责任：

   • 提出追责建议：败诉方（如纳税人）可在行政诉讼或复议程序中，向法院或复议机关提出税务人员违法行为的线索，要求其向税务机关发送司法建议书或行政复议意见书。
     
   • 税务机关内部调查：税务机关收到建议后，应启动内部调查程序，核实税务人员是否存在违法违纪行为。若查实，可给予警告、记过、降级、撤职甚至开除等处分。
     
   • 关键证据：需提供税务机关败诉的判决书或复议决定书，以及能证明税务人员违法行为的证据（如执法记录、文书瑕疵、证人证言等）。

2. 外部法律追责
   若税务人员行为涉嫌犯罪（如徇私舞弊不征、少征税款罪，滥用职权罪等），可依法启动刑事追责程序：

   • 刑事控告：向公安机关报案，提交税务机关败诉文书、税务人员违法证据（如伪造文书、收受贿赂等），要求立案侦查。
     
   • 检察机关监督：若公安机关不立案，可向检察机关申请立案监督，由检察机关审查是否符合刑事立案条件。
     
   • 民事赔偿：若税务人员违法行为导致纳税人损失，纳税人可依据《国家赔偿法》申请行政赔偿，税务机关承担赔偿责任后，可向有故意或重大过失的税务人员追偿。

3. 注意事项

   • 追责时效：行政追责一般需在违法行为发生后2年内提出；刑事追责需在追诉期限内（如滥用职权罪为10年）报案。
     
   • 证据固定：需及时保存税务文书、沟通记录、鉴定意见等证据，避免因证据灭失导致追责困难。
     
   • 程序合法性：追责程序需严格依法进行，避免因程序违法导致追责无效。

建议：若需追究税务人员责任，应首先分析败诉原因是否涉及税务人员违法行为，并收集相关证据。如有疑问，可直接向我咨询具体操作流程及证据要求。