仅从金额对比来看，无法直接判断保险交了20000只退了4000是否合法，这需要结合保险合同的具体条款、退保原因、保险类型以及退保时间等多种因素来综合判断。以下从不同角度为你详细分析：
从保险合同条款角度
保险合同是投保人与保险公司之间约定权利义务的法律文件。合同中通常会明确规定退保的相关条款，包括退保的计算方式、退保所需的手续和条件等。
- 若合同明确规定退保金额计算方式：例如，合同约定在特定退保情况下，按照已交保费的一定比例扣除手续费后退还剩余金额。如果根据该计算方式，扣除相应费用后确实只能退还4000元，那么保险公司的做法就是合法的。比如，合同规定在投保后的前几年退保，要扣除高额的初始费用、管理费用等，经过计算后剩余可退金额为4000元，此时保险公司按此退还符合合同约定。
- 若合同条款存在模糊或歧义：如果合同中对于退保金额的计算方式表述不清晰，导致投保人和保险公司对退保金额产生争议，那么这种情况下保险公司的退保金额可能存在不合法性。例如，合同只说“根据相关规定退还部分保费”，但没有明确“相关规定”的具体内容，投保人认为应退还更多金额，而保险公司只退4000元，就可能引发纠纷。
从退保原因角度
不同的退保原因可能会影响退保金额的合法性。
- 投保人主动退保：在大多数情况下，投保人主动提出退保，保险公司会按照合同约定的退保规则进行处理。如果合同规定在这种情况下只能退还4000元，且该规定不违反法律法规的强制性规定，那么保险公司的做法是合法的。
- 因保险公司违规行为退保：如果保险公司存在销售误导、未履行告知义务等违规行为，导致投保人要求退保，那么投保人有权要求保险公司全额退还保费，或者按照更有利于投保人的方式进行退保。在这种情况下，保险公司只退4000元可能是不合法的。例如，保险销售人员在销售过程中夸大保险收益、隐瞒重要条款，投保人发现后要求退保，保险公司应承担相应责任，不能仅退还4000元。
从保险类型和退保时间角度
- 保险类型：不同类型的保险产品，其退保规则可能会有所不同。例如，消费型保险和返还型保险在退保时的计算方式就有很大差异。消费型保险在退保时，通常只能退还保单的现金价值，而现金价值在保险前期可能较低；返还型保险在满足一定条件时，可能会退还部分保费或保额。如果购买的是消费型保险，在保险前期退保，可能只能退还较少金额，4000元的退保金额可能是合理的。
- 退保时间：一般来说，保险合同生效时间越短，退保时扣除的费用越多，可退还的金额就越少。如果在保险合同刚生效不久就退保，可能只能退还较少金额；而在保险合同生效较长时间后退保，可退还的金额可能会相对多一些。例如，一份长期寿险合同，在投保后的第一年退保，可能只能退还保费的20%左右，如果已交保费20000元，退还4000元可能是符合规定的。
建议你采取以下措施：
- 仔细查阅保险合同中关于退保的条款，了解退保金额的计算方式和相关规定。
- 如果认为保险公司的退保金额不合理，可以与保险公司进行沟通协商，要求其说明退保金额的计算依据。
- 若与保险公司协商无果，可以向当地的保险监管部门投诉，或者通过法律途径解决纠纷，如向法院提起诉讼。
如果你还有其他关于保险退保的问题，或者需要进一步分析你的具体情况，欢迎随时向我咨询。