结论：针对“别人往你卡里打了5万，你该如何退回”的问题，这主要取决于转账的性质以及你与转账人之间的关系。以下是从不同角度给出的详细分析和建议。

一、转账性质为误转或不当得利

1. 立即联系转账人：

   • 一旦发现账户中有多出的5万元，且确认非自己所有，应立即联系转账人，确认转账是否为误转或存在其他原因。
   • 保留好与转账人的沟通记录，如短信、微信、电话录音等，以备后续需要。

2. 主动退回款项：

   • 如果确认是误转或不当得利，应主动将款项退回给转账人。这可以通过银行转账、第三方支付平台等方式进行。
   • 退回流程：
     • 登录银行账户或第三方支付平台。
     • 找到转账记录，选择“退回”或“退款”选项（具体操作可能因平台而异）。
     • 输入转账人的账户信息，确认退回金额，并完成操作。
   • 保留好退回的凭证，如银行转账回执、第三方支付平台的退款记录等。

3. 法律后果：

   • 根据《中华人民共和国民法典》的相关规定，不当得利应当返还给受损人。如果拒不返还，可能面临法律诉讼和相应的法律责任。

二、转账性质为借款或赠与，但你想退回

1. 与转账人协商：

   • 如果转账是借款或赠与，但出于某种原因你想退回，应首先与转账人进行协商，说明你的意愿和理由。
   • 协商过程中，保持冷静和理性，尽量达成双方都能接受的解决方案。

2. 签订书面协议：

   • 如果协商成功，建议签订书面协议，明确退款金额、退款方式、退款时间等条款。
   • 书面协议可以作为后续法律纠纷的证据，保护双方的合法权益。

3. 按照协议退回款项：

   • 根据协议约定的方式和时间，将款项退回给转账人。
   • 保留好退回的凭证和协议文本，以备后续需要。

三、转账性质不明或存在纠纷

1. 寻求法律帮助：

   • 如果转账性质不明或存在纠纷，如转账人主张是借款但你否认，或者转账人拒绝接收退回的款项等，建议寻求法律帮助。
   • 可以咨询专业律师（如我，杨文斌律师，专注于刑事辩护、经济纠纷领域），了解你的权利和义务，以及可能的法律后果。

2. 准备相关证据：

   • 在寻求法律帮助的过程中，准备相关证据是非常重要的。这包括转账记录、沟通记录、书面协议（如果有的话）等。
   • 证据应真实、合法、有效，能够支持你的主张和理由。

3. 通过法律途径解决：

   • 如果协商和调解都无法解决问题，可以通过法律途径解决纠纷。这可能包括提起民事诉讼或申请仲裁等。
   • 在法律途径解决过程中，遵循法律程序和规定，维护自己的合法权益。

最后建议：在处理此类问题时，保持冷静和理性是非常重要的。不要因为情绪激动而做出错误的决定或行为。同时，及时咨询专业律师（如我）的意见和建议，以便更好地维护自己的合法权益。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。