结论：您是否需要还贷款，取决于您与贷款人之间的法律关系以及贷款人的主张，具体分析如下：
一、若贷款人要求您还款，且能证明借款事实
法律关系：虽然您没有打借条，但如果贷款人能够提供其他证据（如转账记录、聊天记录、证人证言等）来证明您确实从他那里借了钱，那么您与贷款人之间就形成了借贷关系。
还款责任：根据《中华人民共和国民法典》的相关规定，借款人应当按照约定的期限返还借款。如果贷款人能够证明借款事实，且您没有按时还款，那么贷款人有权要求您还款，并可能通过法律途径追讨欠款。
贷款责任：至于您是否需要直接还贷款给银行，这通常取决于贷款人与银行之间的贷款合同。一般来说，贷款人是与银行签订贷款合同的主体，因此贷款人有义务按照合同约定向银行还款。但是，如果贷款人因您未还款而无法按时向银行还款，导致贷款人产生损失，贷款人可能会要求您承担这部分损失。
二、若贷款人无法证明借款事实
证据不足：如果贷款人无法提供足够的证据来证明您确实从他那里借了钱，那么他在法律上可能难以主张您还款。
风险防范：然而，为了避免潜在的纠纷和风险，建议您与贷款人进行沟通，尽量达成书面协议或补充借条等证据，以明确双方的权利和义务。
三、特殊情况：贷款人涉嫌高利贷或非法集资
高利贷：如果贷款人向您收取的利息超过了法律规定的上限（目前为一年期贷款市场报价利率的四倍），那么超出部分的利息可能不受法律保护。在这种情况下，您只需要偿还本金和合法范围内的利息。
非法集资：如果贷款人通过借贷行为进行非法集资活动，那么这种借贷行为可能无效。在这种情况下，您可能不需要承担还款责任，但需要配合相关部门的调查和处理。
四、建议与行动
沟通协商：首先，建议您与贷款人进行沟通协商，尽量达成一致意见，明确还款金额和期限等事项。
收集证据：同时，建议您收集相关证据（如转账记录、聊天记录等），以备不时之需。这些证据在后续可能发生的纠纷中可能起到关键作用。
法律途径：如果沟通协商无果，且贷款人坚持要求您还款，您可以考虑通过法律途径解决纠纷。在这种情况下，建议您咨询专业律师（如我），以便更好地维护自己的合法权益。
最后，借贷行为应当谨慎对待，尽量签订书面协议并明确双方的权利和义务。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。