结论：借款人您不认识却留了您的号码，这一行为本身不一定直接违法，但可能涉及一些法律风险和责任，具体取决于该行为是否给您造成了实际损害以及损害的性质和程度。以下从不同角度为您详细分析：
一、从民事侵权角度分析
若未造成实际损害：
- 如果借款人仅仅是在借款时留下了您的电话号码，而这一行为并未给您带来任何实际的经济损失或精神困扰，那么从民事侵权的角度来看，您可能难以主张对方构成侵权。因为侵权行为的构成通常需要满足有损害事实、有违法行为、违法行为与损害事实之间存在因果关系以及行为人主观上有过错等要件。
若造成实际损害：
- 如果借款人留下的您的电话号码被用于骚扰、诈骗等不法行为，导致您遭受了经济损失或精神损害，那么您可能有权要求借款人承担相应的民事责任。在这种情况下，您可以考虑收集相关证据，如通话记录、短信记录、报警记录等，以证明您的损害事实以及该损害与借款人留下您电话号码的行为之间的因果关系。
二、从合同相对性原则分析
- 民间借贷合同具有相对性，即合同的权利义务仅限于合同双方当事人之间。因此，如果借款人留下的您的电话号码并未使您成为借款合同的当事人，那么您通常不需要承担该合同项下的任何义务或责任。但是，如果借款人或贷款人利用您的电话号码进行不法行为，如冒用您的名义进行借款或担保等，那么您可能需要及时采取措施保护自己的合法权益。
三、从实际建议角度分析
及时沟通：
- 如果您发现自己的电话号码被陌生人用于借款等不法行为，建议您及时与相关方进行沟通，了解情况并表明自己的立场。这有助于防止事态进一步恶化，并可能为您后续维权提供有力支持。
收集证据：
- 如前所述，如果您遭受了实际损害，那么收集相关证据是维权的关键。您应该尽可能保留所有与损害事实相关的证据，如通话记录、短信记录、报警记录等。
寻求法律帮助：
- 如果您认为自己的合法权益受到了侵害，且无法通过沟通或自行收集证据等方式解决问题，那么您可以考虑寻求法律帮助。作为一名专业律师，我擅长处理婚姻家庭和经济纠纷领域的法律问题，包括民间借贷纠纷。如果您有任何疑问或需要进一步的法律建议，请随时向我咨询。
总结：借款人您不认识却留了您的号码，这一行为本身不一定直接违法，但可能涉及一些法律风险和责任。如果您因此遭受了实际损害，那么您有权要求相关方承担相应的民事责任。同时，我也建议您及时采取措施保护自己的合法权益，并在必要时寻求法律帮助。