伤残赔偿金并非全由单位赔偿，其赔偿责任的分担情况较为复杂，需根据具体情况来确定责任主体。以下是对此问题的详细分析：
一、工伤且参保情况
工伤保险基金支付部分：
- 若劳动者因工作导致伤残，且符合工伤认定条件，同时用人单位依法缴纳了工伤保险，那么大部分伤残赔偿金将由工伤保险基金支付。这包括但不限于医疗费用、一次性伤残补助金等项目。
用人单位支付部分：
- 尽管工伤保险基金承担了大部分赔偿，但用人单位仍需支付部分费用，如一次性伤残就业补助金等。这部分费用主要用于帮助员工在伤残后重新就业，体现用人单位对员工的责任与关怀。
二、工伤但未参保情况
- 用人单位全部承担：
- 若用人单位未给员工参加工伤保险，那么相关的伤残赔偿费用就需由用人单位全部承担。这包括所有应由工伤保险基金支付的项目以及用人单位应承担的项目。在此情况下，用人单位将面临较大的经济压力。
三、其他人身损害情况
第三人侵权导致伤残：
- 若伤残是由第三人侵权导致的，如交通事故等，那么赔偿责任将由侵权第三人承担。赔偿范围包括医疗费、误工费、残疾赔偿金等。此时，用人单位通常不承担赔偿责任。
工伤与第三人侵权竞合：
- 若伤残既属于工伤，又是由第三人侵权造成的，那么会存在工伤赔偿和侵权赔偿竞合的情况。部分地区支持劳动者在获得侵权赔偿后，仍可享受部分工伤待遇。这体现了法律对劳动者权益的双重保护。
四、法律建议与风险提示
及时申请工伤认定：
- 劳动者在发生工伤后，应及时向用人单位提出工伤认定申请，并按照规定提交相关材料。这有助于确保劳动者能够及时获得工伤赔偿。
了解赔偿项目与标准：
- 劳动者应了解伤残赔偿的具体项目与标准，包括医疗费、误工费、护理费、交通费、营养费、残疾赔偿金等。这有助于劳动者在维权过程中明确自己的权益。
保留相关证据：
- 劳动者在发生工伤后，应保留好相关证据，如医疗记录、费用单据、工伤认定决定书等。这些证据在后续维权过程中将起到关键作用。
寻求法律帮助：
- 若劳动者在伤残赔偿过程中遇到困难或争议，可寻求专业律师的帮助。律师将能够提供专业的法律意见和维权策略，帮助劳动者维护自己的合法权益。
若您对伤残赔偿金的赔偿主体及相关细节存在疑问，或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供全面、专业的法律服务。