结论：是否需要退还贷款公司先给的几万块钱，取决于这笔款项的性质以及你们之间的具体约定。以下从不同情况进行分析：
若该款项为预付款或诚意金：
- 法律背景：在贷款过程中，有时贷款公司会要求借款人支付一定的预付款或诚意金，以表示借款人的诚意和贷款意愿。但通常情况下，如果贷款最终未成功发放，且双方没有特别约定，这部分款项应当退还给借款人。然而，也存在特殊情况，即如果双方有明确约定，且该约定不违反法律法规的强制性规定，那么应按照约定执行。
- 分析：在此情况下，如果这笔几万块钱是作为预付款或诚意金支付给你的，且贷款最终未成功发放，你需要查看与贷款公司签订的合同或协议中是否有关于这笔款项退还的明确约定。如果有约定，按照约定执行；如果没有约定，或者约定不明确，你可以与贷款公司协商退还事宜。
若该款项为贷款公司误操作或不当支付：
- 法律背景：如果贷款公司由于内部操作失误或不当支付，将款项错误地支付给了你，那么这笔款项属于不当得利。根据法律规定，不当得利应当返还给受损人。
- 分析：在此情况下，你应当主动与贷款公司联系，说明情况，并协商退还这笔不当得利的款项。如果贷款公司要求你退还，你有义务配合退还，以避免可能的法律纠纷。
若该款项为贷款合同的一部分，但贷款未发放：
- 法律背景：有时候，贷款公司可能会在贷款合同中约定，在贷款发放前先支付一部分款项给借款人，作为贷款的一部分或预付款。但如果贷款最终未发放，这部分款项的处理方式需要依据合同约定。
- 分析：你需要仔细审查贷款合同中的相关条款，特别是关于这笔款项的性质、用途以及退还条件的约定。如果合同中有明确约定，且该约定不违反法律法规的强制性规定，那么应按照约定执行。如果合同中没有约定或约定不明确，你可以与贷款公司协商处理，或者寻求法律途径解决。
建议：
- 首先，仔细审查与贷款公司签订的合同或协议，特别是关于这笔几万块钱的条款。
- 其次，与贷款公司进行沟通，了解他们的立场和要求，并尝试协商解决。
- 如果协商无果，或者你对合同条款的理解存在疑问，可以寻求法律帮助，比如咨询我这样的专业律师，以维护你的合法权益。
可能后果：
- 如果你不退还应当退还的款项，贷款公司可能会通过法律途径追讨，这可能会给你带来不必要的法律麻烦和经济损失。
- 如果你与贷款公司协商无果，且拒绝退还不当得利或违反合同约定的款项，贷款公司可能会向法院提起诉讼，要求你承担相应的法律责任。
因此，建议你根据实际情况，谨慎处理这笔款项的退还问题。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。