首先，这位卡友以给你交保险为由拿走你的4000块钱却一直不给你，这可能构成了一种不当得利或者诈骗的行为。针对这种情况，你可以考虑采取以下措施：

1. 尝试沟通解决：

   • 你可以再次与这位卡友进行沟通，明确表达你的诉求，即要求他归还那4000块钱。
   • 在沟通过程中，尽量保持冷静和理智，避免情绪化的言辞或行为。
   • 如果卡友表示愿意归还，但需要时间筹款，你可以与他协商一个合理的还款计划和期限。

2. 收集证据并报警：

   • 如果沟通无果，或者卡友拒绝归还，你应该开始收集相关证据，如聊天记录、转账记录等，以证明卡友确实拿走了你的钱且未归还。
   • 证据收集齐全后，你可以向当地公安机关报案，说明情况并提交证据。警方会根据相关法律法规进行调查处理。

3. 寻求法律帮助：

   • 如果报案后警方未予立案，或者你认为警方的处理结果不满意，你可以考虑寻求专业的法律帮助。
   • 你可以咨询律师，了解你的权益和可能的法律途径。律师会根据你的具体情况，为你提供专业的法律建议和指导。

4. 民事诉讼：

   • 在律师的帮助下，你可以考虑向法院提起民事诉讼，要求卡友归还那4000块钱。
   • 在诉讼过程中，你需要提供充分的证据来证明你的诉求。如果法院认为你的诉求合理且证据充分，会判决卡友归还你的钱款。

总之，面对这种情况，你应该积极采取行动来维护自己的合法权益。同时，也要保持冷静和理智，避免采取过激的行为或言辞。如果你需要进一步的法律帮助或咨询，请随时联系我。