单位行贿的违法所得退赔主体主要是行贿单位本身，但在特定情况下，直接负责的主管人员和其他直接责任人员也可能承担退赔责任。以下是对这一问题的详细分析：
一、行贿单位作为退赔主体
法律义务：根据相关法律法规，行贿单位作为违法行为的实施者，有义务退还其通过行贿行为所获得的违法所得。这是法律对行贿行为的一种惩处方式，旨在恢复被破坏的社会秩序和公平正义。
实际操作：在具体实施过程中，行贿单位的退赔事宜通常会由其决策部门或高层领导组织协调实施。他们负责评估违法所得的数额，制定退赔计划，并确保退赔款项的及时支付。
二、直接负责的主管人员和其他直接责任人员作为退赔主体
特定情况下的责任：虽然行贿单位是主要的退赔主体，但在某些特定情况下，如行贿单位无能力清偿退赔款项，或者行贿行为是由直接负责的主管人员和其他直接责任人员个人决策并实施的，那么这些人员也可能需要承担退赔责任。
法律连带责任：根据法律规定，直接负责的主管人员和其他直接责任人员在单位行贿行为中可能扮演了关键角色。如果他们的行为导致了违法所得的产生，并且单位无法承担退赔责任，那么他们可能需要以个人财产承担连带退赔责任。
三、法律建议与风险提示
及时退赔：对于行贿单位而言，及时退赔违法所得是减轻法律责任、恢复社会秩序的重要方式。行贿单位应积极配合相关部门的调查和处理工作，确保退赔款项的及时支付。
个人责任防范：对于直接负责的主管人员和其他直接责任人员而言，他们应增强法律意识，避免参与或默许单位行贿行为。如果发现单位存在行贿行为，应及时向相关部门报告并采取措施防止违法所得的产生。
法律后果：如果行贿单位或相关责任人员未按时退赔违法所得，可能会面临更严重的法律后果，包括罚款、刑事责任等。因此，及时退赔是避免法律风险的重要措施。
在实际操作中，如果遇到单位行贿的违法所得退赔问题，建议及时咨询专业律师以获取更具体的法律建议和指导。如果你有相关法律问题，可以直接向我提问，我会结合你的具体情况，给出更详细的解答。