不会直接影响，但可能存在间接影响。下面我来详细解释一下：
首先，如果你使用的手机号码是别人的，而这个人贷款不还，从法律上来说，贷款的责任和后果应由贷款人自己承担，与你使用这个手机号码没有直接关系。因为贷款合同是贷款人与银行或其他金融机构之间签订的，合同中的权利和义务只对合同双方具有约束力。
然而，虽然法律上没有直接关联，但在实际生活中可能会遇到一些间接影响。例如：
骚扰电话和短信：如果贷款人逾期未还款，银行或金融机构可能会通过电话或短信进行催收。由于你使用的是贷款人的手机号码，这些催收电话和短信可能会打到你手机上，给你带来不必要的骚扰。
信用记录关联风险：虽然贷款记录不会直接关联到你，但如果贷款人在申请贷款时留下了你的联系方式作为紧急联系人或共同借款人（这种情况较少见），在贷款人无法联系到或拒绝还款时，银行可能会尝试联系你。这虽然不会直接影响你的信用记录，但可能会让你陷入不必要的麻烦和解释中。
法律诉讼的牵连：在极端情况下，如果贷款人因贷款问题被银行起诉，并且法院无法联系到贷款人，法院可能会尝试通过贷款人留下的联系方式（包括你使用的手机号码）来寻找贷款人。虽然这种情况较为罕见，但一旦发生，可能会给你带来一定的法律风险和困扰。
因此，虽然从法律上来说，你使用别人的手机号码而该人贷款不还不会直接影响你，但在实际生活中可能会带来一些不必要的麻烦和风险。为了避免这些风险，建议你尽快更换为自己的手机号码，并确保所有与个人财务和信用相关的事务都使用自己的联系方式。