在政府信息公开答复书被行政复议或起诉且败诉的情况下，责任承担问题需分情况讨论：
单位作为行政主体直接担责
- 法律依据：根据《中华人民共和国行政复议法》及《中华人民共和国行政诉讼法》的相关规定，行政机关在行使职权过程中，若因违法或不当行为导致行政相对人权益受损，需承担相应的法律责任。
- 具体情形：若政府信息公开答复书存在违法情形，如未依法履行公开义务、公开的信息不准确或不完整等，且该违法行为在行政复议或诉讼中被确认，那么作出该答复书的行政机关（即单位）将作为责任主体，承担败诉后果。
- 责任形式：单位可能面临的法律责任包括撤销或变更原答复书、重新作出答复、赔偿损失等。具体责任形式将根据违法行为的性质、情节及造成的后果等因素综合确定。
工作人员个人不直接担责，但可能面临内部追责
- 法律原则：在行政法律关系中，工作人员通常作为行政机关的代表行使职权，其个人不直接对外承担法律责任。
- 内部追责机制：然而，若工作人员在作出政府信息公开答复书过程中存在故意或重大过失，导致单位败诉并造成损失，单位可能依据内部规章制度或相关法律法规对工作人员进行追责。这种追责可能包括警告、记过、降级、撤职等行政处分，甚至可能涉及刑事责任（如构成滥用职权罪、玩忽职守罪等）。
特殊情况下的责任分担
- 共同行为：若政府信息公开答复书的作出涉及多个部门或人员的共同行为，且该行为被确认违法，那么相关部门或人员可能根据各自在违法行为中的过错程度和作用大小，共同承担责任。
- 委托关系：若单位将政府信息公开工作委托给其他机构或个人办理，且因受托方的违法行为导致单位败诉，那么单位在承担外部责任后，有权根据委托合同向受托方追偿。
法律建议：
- 对于单位：应加强对政府信息公开工作的管理和监督，确保答复书的合法性和准确性。同时，建立健全内部追责机制，对违法违规行为及时进行处理和纠正。
- 对于工作人员：在履行政府信息公开职责时，应严格遵守法律法规和规章制度，确保答复书的合法性和合规性。若因个人原因导致单位败诉并造成损失，应积极配合单位的内部追责工作，并承担相应的责任。
后续行动建议：
- 若您或您的单位面临政府信息公开答复书被行政复议或起诉的情况，建议及时咨询专业律师，以便更准确地评估法律风险和制定应对策略。
- 在处理此类案件时，应注重收集和保存相关证据材料，以便在行政复议或诉讼中证明自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。