若手机属于你合法所有，对方无合法依据索要钱财，你拒绝支付是合法的，对方若采取不当行为可能面临法律责任；若对方有合法依据（如合理费用），你拒绝支付可能需承担相应民事责任。具体分析如下：
手机所有权归属明确，对方无合法依据索要钱财
- 如果手机确实属于你合法所有，且对方索要钱财没有合法依据（例如，对方并非基于合法的保管合同、拾得遗失物后的必要费用等理由索要钱财），那么你拒绝支付是合法的。对方若采取威胁、恐吓、强行扣留手机等不当行为，可能涉嫌违反《治安管理处罚法》，甚至可能构成敲诈勒索罪、抢劫罪等刑事犯罪。在这种情况下，你可以选择报警，让公安机关介入处理，以维护自己的合法权益。
对方有合法依据索要钱财，你拒绝支付
- 如果对方是基于合法的理由索要钱财，例如，对方作为拾得人，在保管手机过程中产生了必要的费用（如交通费、通讯费等），并有权要求你支付这些合理费用。在这种情况下，如果你拒绝支付，对方可能会通过法律途径来追讨这些费用，例如向法院提起诉讼。如果法院最终判决你需要支付这些费用，而你仍然拒绝支付，那么对方可以申请法院强制执行，这可能会对你的信用记录等产生不良影响。
建议：
- 在面对对方索要钱财时，首先要保持冷静，明确手机的所有权归属，并了解对方索要钱财的依据是否合法。
- 如果对方索要钱财没有合法依据，你可以坚决拒绝，并考虑报警处理。
- 如果对方有合法依据索要钱财，你可以与对方协商支付方式和金额，以达成和解。如果无法协商一致，你可以寻求法律帮助，通过法律途径来解决争议。
在处理此类问题时，务必保持理性，依法维护自己的权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。