若借款人的钱被担保人用了且没有直接证据，借款人可采取以下措施来维护自身权益：
一、尝试补充收集证据
沟通固定证据：
- 借款人可尝试与担保人进行沟通，通过录音、录像或聊天记录等方式，固定担保人承认挪用款项的事实。这些间接证据在诉讼中可能起到关键作用。
查找转账记录：
- 如果款项是通过银行转账等方式支付的，借款人可尝试从银行调取转账记录，以证明款项的流向和用途。即使转账记录不能直接证明担保人挪用了款项，但结合其他证据，可能形成完整的证据链。
寻找证人：
- 借款人可寻找可能知晓款项挪用情况的证人，如共同的朋友、亲戚或业务伙伴等。证人的证言在诉讼中可能作为辅助证据使用。
二、与担保人协商
明确要求返还：
- 借款人应明确向担保人提出要求其返还所挪用款项的请求，并界定双方在这一事件中的责任和义务。通过协商，有可能以较为和平的方式解决问题，避免进入诉讼程序。
签订书面协议：
- 如果协商达成一致意见，借款人应要求与担保人签订书面协议，明确还款金额、还款期限和违约责任等条款。书面协议在诉讼中可作为有力证据使用。
三、向法院提起诉讼
准备诉讼材料：
- 如果协商无果，借款人应准备充分的诉讼材料，包括起诉状、证据清单和证据材料等。在证据材料中，应尽可能提供能够证明担保人挪用款项的间接证据，如转账记录、聊天记录和证人证言等。
申请法院调查令：
- 在诉讼过程中，如果借款人确实无法提供直接证据，可向法院申请调查令，要求法院调查相关证据。法院有权根据申请调查令，要求相关单位或个人提供证据材料。
注意诉讼时效：
- 借款人应注意诉讼时效的问题。一般来说，诉讼时效为三年，这个时间期限是从借款人知道或应当知道自己的权利被侵害之日起开始计算的。如果超过了诉讼时效才提起诉讼，那么借款人的权利将很可能无法得到法律的有效保护。
四、可能的法律后果及建议
法律后果：
- 如果借款人能够提供充分证据证明担保人挪用了款项，且诉讼时效未过期，那么借款人有可能通过诉讼程序追回被挪用的款项，并要求担保人承担相应的违约责任。
- 如果证据不足或诉讼时效已过期，那么借款人可能面临无法追回被挪用款项的风险。
建议：
- 借款人在借款前应谨慎选择担保人，并了解担保人的信用状况和还款能力。
- 在借款过程中，应保留好相关证据材料，如借款合同、转账记录和聊天记录等。
- 如果发现担保人挪用了款项，应及时采取行动，通过协商或诉讼等方式维护自身权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供更为详细和专业的法律建议。