您可以通过法律途径要求哥哥返还存款，并追究其法律责任。针对您的情况，我们进行以下详细分析：

一. 哥哥行为的性质

1. 侵犯财产权：您母亲将存折给您，意味着她有意将存折中的存款由您支配。哥哥在未经您同意的情况下，以挂失的名义取走存款，侵犯了您的财产权。
2. 可能构成犯罪：如果哥哥取走的金额较大，且没有合法依据，他的行为可能构成盗窃罪或侵占罪，需要承担刑事责任。

二. 您的法律救济途径

1. 民事诉讼：您可以向法院提起民事诉讼，要求哥哥返还取走的存款，并赔偿因此给您造成的损失。在诉讼中，您需要提供存折、取款记录等证据来证明哥哥的行为。

    - 例如，您可以收集银行取款记录、挂失记录等证据，证明哥哥在未经您同意的情况下取走了存款。
   

2. 刑事报案：如果哥哥的行为构成犯罪，您可以向公安机关报案，要求追究其刑事责任。公安机关会进行调查，并根据调查结果决定是否立案侦查。

三. 法律依据

1. 《中华人民共和国民法典》第二百三十五条：无权占有不动产或者动产的，权利人可以请求返还原物。
2. 《中华人民共和国刑法》第二百六十四条：盗窃公私财物，数额较大的，或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金。

我建议，您首先尝试与哥哥协商解决此事，如果协商无果，再考虑通过法律途径维护自己的权益。在采取法律行动之前，请确保收集足够的证据来支持您的主张。如有进一步需要，您可以继续咨询我。