针对您提出的“被诈骗五万，取款人不是提供银行卡卡主，把钱取走了”这一问题，以下是我的详细分析和建议：

1. 关于取款人的法律责任：

   • 取款人若明知是诈骗所得而进行取款，可能构成掩饰、隐瞒犯罪所得罪。根据《中华人民共和国刑法》的相关规定，明知是犯罪所得及其产生的收益而予以窝藏、转移、收购、代为销售或者以其他方法掩饰、隐瞒的，将受到刑事处罚。
   • 若取款人并不知情，而是被诈骗分子利用或误导进行取款，则其可能不承担刑事责任，但具体情况还需根据证据和事实进行判断。

2. 关于银行卡卡主的法律责任：

   • 银行卡卡主若将银行卡出借、出租、出售给电信网络诈骗分子用于洗钱或接收诈骗所得，可能构成帮助信息网络犯罪活动罪或掩饰、隐瞒犯罪所得罪等。
   • 即使卡主并未直接参与取款行为，但因其提供了银行卡这一关键工具，使得诈骗分子能够顺利接收和转移诈骗所得，因此卡主也可能需要承担相应的法律责任。

3. 关于受害者的法律救济途径：

   • 受害者应立即向当地公安机关报案，并提供相关证据和线索，以便公安机关能够迅速展开调查并追回损失。
   • 同时，受害者也可以考虑通过民事诉讼的方式，向取款人或银行卡卡主主张赔偿。根据《中华人民共和国民法典》的相关规定，因他人侵权行为造成损害的，受害者有权要求侵权人承担赔偿责任。

4. 关于后续行动的建议：

   • 受害者应积极配合公安机关的调查工作，提供尽可能多的证据和线索，以便公安机关能够尽快破案并追回损失。
   • 在等待公安机关调查结果的同时，受害者也可以考虑咨询专业律师，了解自己的法律权益和可能的救济途径。

5. 关于预防类似事件的建议：

   • 公众应提高警惕，不轻易相信陌生人的电话或短信，尤其是涉及转账或提供个人信息的请求。
   • 同时，公众也应妥善保管好自己的银行卡和密码等个人信息，避免被他人利用进行诈骗活动。

综上所述，针对您提出的问题，取款人和银行卡卡主都可能承担相应的法律责任，而受害者则可以通过报案和民事诉讼等方式来维护自己的合法权益。如果您有任何进一步的疑问或需要更具体的法律建议，请随时向我咨询。