结论：您无需过度担心，一般情况下他人网贷逾期留您电话，不会直接对您账户进行划扣。以下从不同角度为您详细分析：
- 从法律关系角度：
- 您与网贷借款人之间如果没有共同借款、担保等法律关系，那么您在法律上对借款人的债务没有偿还义务。网贷平台仅因借款人逾期就划扣您的账户资金，缺乏法律依据。根据《民法典》相关规定，合同具有相对性，网贷借款合同是借款人与网贷平台之间的约定，只约束合同双方当事人，您并非合同当事人，不受该合同约束。
- 若网贷平台未经您同意，擅自划扣您的账户资金，这属于侵权行为。您有权要求网贷平台返还被划扣的资金，并可以要求其承担因侵权行为给您造成的损失，如利息损失、因资金被划扣导致您产生的其他费用等。如果网贷平台拒绝返还，您可以通过向法院提起民事诉讼的方式来维护自己的合法权益。
- 从实际操作角度：
- 正规的网贷平台在放款和资金划扣方面都有严格的流程和规范。在放款时，会明确借款人的还款账户等信息，划扣资金也是从借款人指定的还款账户中进行操作。即使借款人留了您的电话，网贷平台也没有权限直接从您的账户划扣资金，因为您的账户与借款人的借款合同及还款流程没有直接关联。
- 不过，有些不正规的网贷平台可能会采取一些不当手段，如频繁给您打电话、发短信进行骚扰，甚至威胁要对您的账户进行划扣等。面对这种情况，您要注意保留相关证据，如通话记录、短信内容等。如果对方的骚扰行为严重影响了您的正常生活，您可以向公安机关报案，公安机关会依据《治安管理处罚法》等相关法律法规对骚扰者进行处罚。
建议：您可以先与网贷平台沟通，明确告知对方您与借款人的关系以及您不应承担还款责任，要求其停止对您的不当骚扰。如果沟通无果，您可以收集好相关证据，通过法律途径维护自己的权益。如果您还有其他疑问或需要进一步的帮助，随时都可以向我咨询。