结论：在信用卡上的钱被别人取走且对方声称已给但双方均无证据的情况下，要追回这笔钱确实存在一定难度，但并非完全没有办法。以下是从不同角度给出的分析和建议。
一、法律角度分析
举证责任：
- 在民事诉讼中，通常遵循“谁主张，谁举证”的原则。即，如果你主张对方取走了你的钱并未归还，你需要提供相应的证据来支持你的主张。
- 若双方均无直接证据，法院可能会根据双方陈述、交易习惯、证人证言（如果有的话）以及其他相关证据来综合判断。
可能的法律后果：
- 如果法院认定对方确实取走了你的钱并未归还，那么对方可能构成不当得利或侵占罪（具体取决于金额大小和情节严重程度），需要承担相应的民事或刑事责任。
- 如果法院无法认定对方取走了你的钱或认定对方已归还，那么你可能无法追回这笔钱。
二、实际操作建议
收集间接证据：
- 尽管双方均无直接证据，但你可以尝试收集一些间接证据，如交易记录、短信、微信聊天记录、通话录音等，这些证据可能有助于证明你的主张。
- 例如，如果你能提供信用卡交易记录显示钱被取走，并且取走时间与对方声称给钱的时间相近，这可能是一个有力的间接证据。
与对方协商：
- 在诉讼之前，你可以尝试与对方进行协商，看是否能达成和解。有时候，通过友好的沟通，双方可能能够找到一个互谅互让的解决方案。
报警处理：
- 如果金额较大或情节严重，你可以考虑向公安机关报案。虽然这不一定能直接追回钱款，但至少可以让公安机关介入调查，为后续的诉讼或协商提供有力支持。
寻求法律援助：
- 如果你觉得自己无法处理这个问题，可以寻求专业的法律援助。我可以根据你的具体情况，为你提供更详细的法律建议和诉讼策略。
三、预防措施
加强信用卡管理：
- 为了避免类似情况再次发生，建议你加强信用卡的管理。例如，设置复杂的密码、定期更换密码、不轻易将信用卡借给他人使用等。
及时关注账户动态：
- 定期查看信用卡的交易记录，及时发现并处理异常交易。如果发现钱被取走或存在其他异常情况，应立即联系银行并报警。
四、特殊情况考虑
- 如果对方是你的亲友或熟人，且你相信对方可能只是暂时无法归还或存在误解，那么你可以考虑给予一定的宽限期或通过其他方式解决纠纷。
- 如果对方态度恶劣或拒绝沟通，那么你可能需要更坚决地采取法律手段来维护自己的权益。
最后，我想强调的是，虽然在这个问题中双方均无直接证据，但并不意味着你无法追回这笔钱。通过收集间接证据、与对方协商、报警处理或寻求法律援助等方式，你仍然有可能维护自己的合法权益。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。