上市公司退市时，投资者损害赔偿的主体主要取决于退市的原因及责任方的过错情况，以下从不同角度进行分析：

1. 上市公司自身：

   • 直接责任：若上市公司因违法违规行为（如财务造假、信息披露不实等）导致退市，给投资者造成损失的，上市公司应承担直接的赔偿责任。这是基于《证券法》及相关司法解释的规定，上市公司有义务保证其披露信息的真实、准确、完整，违反该义务并造成投资者损失的，应依法承担赔偿责任。
   • 示例：某上市公司因连续多年财务造假被监管部门查处，最终导致退市。投资者因依赖其虚假财务信息而做出投资决策，遭受损失的，可以要求上市公司赔偿。

2. 上市公司控股股东或实际控制人：

   • 连带责任：在上市公司因控股股东或实际控制人的过错导致退市的情况下，如控股股东或实际控制人滥用控制权、操纵上市公司进行违法违规行为等，投资者可以要求控股股东或实际控制人承担连带赔偿责任。
   • 示例：某上市公司的控股股东通过关联交易掏空上市公司资产，导致上市公司资不抵债而退市。投资者可以要求控股股东对因其过错造成的损失承担赔偿责任。

3. 上市公司董事、监事、高级管理人员：

   • 过错责任：若上市公司的董事、监事、高级管理人员在履行职责过程中存在过错（如未勤勉尽责、未履行忠实义务等），导致上市公司退市并给投资者造成损失的，这些人员也可能需要承担赔偿责任。
   • 示例：某上市公司的董事在明知公司存在重大财务问题的情况下，未及时披露并采取措施防止损失扩大，导致公司退市。投资者可以要求该董事对因其过错造成的损失承担赔偿责任。

4. 中介机构：

   • 连带责任（在特定情况下）：若中介机构（如会计师事务所、律师事务所、保荐机构等）在为上市公司提供服务过程中存在过错（如未勤勉尽责、出具虚假报告等），导致投资者因依赖其专业意见而遭受损失的，中介机构也可能需要承担连带赔偿责任。但需要注意的是，中介机构的赔偿责任通常限于其过错范围内，且需要投资者证明其过错与损失之间的因果关系。
   • 示例：某会计师事务所为上市公司出具了虚假的审计报告，导致投资者因依赖该报告而做出投资决策并遭受损失。投资者可以要求该会计师事务所对因其过错造成的损失承担赔偿责任。

法律建议：

• 投资者在面临上市公司退市并遭受损失时，应首先收集相关证据（如交易记录、公告信息、专业报告等），以证明其损失与退市之间的因果关系以及责任方的过错。
• 投资者可以根据具体情况选择向上市公司、控股股东、实际控制人、董事、监事、高级管理人员或中介机构等责任方主张赔偿。
• 在主张赔偿过程中，投资者可以寻求专业律师的帮助，以更好地维护自己的合法权益。

可能法律后果：

• 若责任方被认定存在过错并需承担赔偿责任，其可能需要向投资者支付赔偿金，包括投资本金、利息及可能的诉讼费用等。
• 若责任方拒绝承担赔偿责任或无力承担赔偿责任，投资者可能需要通过法律途径（如诉讼、仲裁等）来强制执行赔偿判决或裁决。