结论：针对您提出的“留置商人退款130万元，家属退了80万怎么办”的问题，这主要涉及到退款协议的履行及违约责任问题。以下是从不同角度为您进行的分析和建议。
一、退款协议的法律效力
协议内容：首先，需要明确的是，您与商人之间是否签订了书面的退款协议，协议中是否明确规定了退款金额、退款期限、违约责任等关键条款。如果协议内容明确且合法有效，那么双方都应按照协议内容履行各自的义务。
法律效力：如果退款协议是双方真实意思的表示，且不违反法律、行政法规的强制性规定，那么该协议具有法律效力，对双方均具有约束力。
二、家属退款80万后的法律后果
违约认定：如果商人未按照协议约定全额退款（即130万元），而只退了80万元，那么商人的行为可能构成违约。此时，您有权要求商人继续履行退款义务，即退还剩余的50万元。
违约责任：根据退款协议中的违约责任条款（如果有的话），商人可能需要承担违约责任，如支付违约金、赔偿损失等。如果协议中没有明确约定违约责任，那么您可以根据《民法典》的相关规定，要求商人承担因违约造成的实际损失。
三、建议采取的措施
协商沟通：首先，建议您与商人进行协商沟通，明确剩余退款金额及退款期限，并尽量达成书面补充协议。这有助于减少后续纠纷的发生。
发送律师函：如果协商无果，您可以考虑委托律师向商人发送律师函，正式要求其履行退款义务，并告知其可能承担的法律责任。律师函通常具有一定的威慑力，可能促使商人主动履行义务。
提起诉讼：如果商人仍然拒绝履行退款义务，那么您有权向人民法院提起诉讼，要求商人退还剩余款项并承担违约责任。在诉讼过程中，您需要提供充分的证据证明商人的违约行为及您的损失情况。
四、注意事项
证据收集：在整个过程中，您需要注意收集并保存相关证据，如退款协议、转账记录、沟通记录等。这些证据将在后续协商、律师函发送或诉讼过程中发挥重要作用。
法律程序：如果您决定采取法律手段维护自己的权益，那么请务必遵循法律程序，不要采取过激行为或非法手段。否则，您可能会因此承担法律责任。
专业咨询：由于法律问题具有复杂性和专业性，建议您在处理此类问题时咨询专业律师的意见。作为专注于公司事务、合同纠纷、知识产权领域的律师，我可以为您提供专业的法律咨询和帮助。
最后，希望以上分析能够对您有所帮助。如果您在处理此类问题时遇到任何疑问或需要进一步的法律帮助，请随时向我咨询。