结论：在您哥哥持有您的存款单且拒绝归还，协商无果的情况下，您可以考虑挂失，但需注意挂失流程及相关法律后果。

分析说明：

1. 存款单的法律性质：

   • 存款单是您与银行之间储蓄合同关系的证明，其所有权归您所有。您哥哥持有您的存款单，并不意味着他有权处置该存款单或其中的资金。

2. 挂失的合法性：

   • 如果您的存款单丢失或被盗，或者像您这种情况，被他人非法持有且拒绝归还，您有权向银行申请挂失。挂失后，原存款单将失效，银行将为您办理新的存款凭证或进行其他相应处理，以保障您的资金安全。

3. 挂失流程：

   • 您需要携带有效身份证件（如身份证）到开户银行或指定网点办理挂失手续。
   • 填写挂失申请书，说明挂失原因、存款单号码、金额等信息。
   • 银行在核实您的身份和存款信息后，将为您办理挂失，并可能要求您缴纳一定的挂失费用。

4. 可能面临的法律后果：

   • 如果您哥哥在您挂失后仍然尝试使用原存款单进行取款或其他操作，由于存款单已失效，银行将拒绝办理，并可能报警处理。
   • 如果您哥哥因此对您产生不满或采取其他不当行为，您可能需要考虑通过法律途径（如报警、起诉等）来维护自己的合法权益。

5. 其他建议：

   • 在挂失前，您可以再次尝试与哥哥沟通，说明情况并寻求和解。如果沟通无果，再考虑挂失。
   • 挂失后，建议您及时关注银行账户动态，确保资金安全。
   • 如果您担心哥哥可能会采取其他不当行为，您可以考虑向警方报案或寻求法律援助。

行动建议：

• 立即挂失：为了保障您的资金安全，建议您尽快携带有效身份证件到开户银行或指定网点办理挂失手续。
• 保留证据：在挂失前或挂失过程中，保留好与哥哥的沟通记录、存款单复印件等相关证据，以备不时之需。
• 寻求帮助：如果您在处理过程中遇到任何问题或困难，可以直接向我咨询，我将为您提供专业的法律建议和帮助。