结论：军人诈骗聊天中，仅知道电话号码并不一定会导致被骗走钱，但确实存在被骗的风险，具体取决于多种因素。以下从不同角度进行分析：
一、诈骗行为的构成与风险
诈骗行为的基本构成：诈骗是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。在军人诈骗的聊天情境中，如果军人（或冒充军人者）通过聊天获取了你的电话号码，并进一步实施虚构事实或隐瞒真相的行为，以诱使你转账或提供其他财物，那么这就构成了诈骗的初步行为。
电话号码的作用：电话号码是诈骗分子获取你个人信息的一个重要途径，但仅凭电话号码本身，诈骗分子并不能直接骗走你的钱。他们通常需要进一步获取你的银行账户信息、密码、验证码等敏感信息，或者通过诱导你点击恶意链接、下载恶意软件等方式，才能实施诈骗。
二、被骗走钱的具体风险因素
个人信息的泄露程度：如果你在聊天过程中泄露了过多的个人信息，如银行账户、密码、身份证号码等，那么诈骗分子就有可能利用这些信息实施诈骗。
诈骗分子的手段：诈骗分子的手段多种多样，他们可能通过伪造官方文件、冒充公检法机关、虚构中奖信息等方式，诱使你转账或提供财物。如果你缺乏警惕性，就容易上当受骗。
你的防范意识：你的防范意识是防止被骗的关键。如果你对诈骗行为有足够的了解，能够识别出诈骗分子的常见手段，并在遇到可疑情况时及时报警或咨询专业人士，那么你被骗的风险就会大大降低。
三、法律建议与防范措施
保护个人信息：在聊天过程中，不要轻易泄露自己的个人信息，特别是银行账户、密码、身份证号码等敏感信息。如果必须提供，要确保对方是可信的，并采取加密等安全措施。
提高警惕性：对于来自陌生人的聊天请求，要保持警惕，不要轻易相信对方的话。如果对方声称是军人或公检法机关人员，要求你转账或提供财物，一定要通过官方渠道进行核实。
及时报警与咨询：如果你发现自己可能被骗了，或者遇到了可疑情况，要及时报警并咨询专业人士。作为专业律师，我建议你如果遇到此类问题，可以直接向我咨询，我会根据你的具体情况提供法律建议和帮助。
总结：军人诈骗聊天中，仅知道电话号码并不一定会导致被骗走钱，但确实存在被骗的风险。为了降低这种风险，你需要保护好自己的个人信息，提高警惕性，并在遇到可疑情况时及时报警和咨询专业人士。如果你有任何法律问题或需要进一步的法律帮助，请直接向我咨询。