结论：团体险赔偿100万，给家属80万是否违法，不能一概而论，需要分情况讨论。
如果保险合同中有明确约定：
- 保险合同是投保人与保险公司之间设立、变更、终止民事权利义务关系的协议，具有法律约束力。如果保险合同中明确规定了赔偿金额的分配方式，比如明确指出赔偿给家属的具体金额或比例，那么保险公司和投保人（或受益人）应当按照合同约定执行。在这种情况下，如果合同约定赔偿100万，但给家属80万，且这种分配方式符合合同约定，那么这种行为是合法的。
如果保险合同中没有明确约定：
- 如果保险合同中没有明确规定赔偿金额的分配方式，那么赔偿金额的分配应当遵循相关法律法规和公平原则。一般来说，团体险的赔偿金应当支付给受益人或其法定继承人。如果家属是合法的受益人或法定继承人，且没有其他特殊情况（如存在其他优先受偿的债权人等），那么保险公司应当将全部赔偿金支付给家属。在这种情况下，如果保险公司只支付80万给家属，而扣留了20万，这种行为可能是违法的，因为保险公司没有按照法律法规和公平原则进行赔偿。
法律建议：
- 对于投保人或受益人来说，应当仔细阅读保险合同，了解合同中关于赔偿金额分配方式的约定。如果合同中有不明确或存在争议的地方，应当及时与保险公司沟通协商，必要时可以寻求法律帮助。
- 对于保险公司来说，应当严格遵守保险合同的约定和相关法律法规，按照公平、合理的原则进行赔偿。如果存在扣留赔偿金等违法行为，可能会面临法律责任和声誉损失。
可能后果：
- 如果保险公司违反合同约定或相关法律法规，扣留赔偿金不给家属，家属有权向保险公司提出索赔要求，并可以通过法律途径维护自己的合法权益。这可能包括向法院提起诉讼、申请仲裁等。
- 如果投保人或受益人故意隐瞒或虚报信息，导致保险公司错误支付赔偿金，保险公司也有权要求投保人或受益人返还多支付的金额，并可能追究其法律责任。
总之，团体险赔偿100万，给家属80万是否违法，取决于保险合同中的约定以及相关法律法规的规定。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。