结论：别人不能随便从您的银行卡上扣款，除非存在特定的法律情形或您事先授权。

详细分析：

1. 未经授权的扣款行为违法：

   • 根据一般的法律原则，任何未经您明确授权或法律特别规定的扣款行为都是违法的。如果他人未经您的同意，擅自使用您的银行卡信息进行扣款，这构成了对您的财产权的侵犯，您有权要求对方停止侵害、返还财产，并可能要求赔偿损失。

2. 网贷平台的扣款权限：

   • 网贷平台在发放贷款时，通常会要求借款人提供银行卡信息以便于贷款的发放和还款的扣收。然而，这种扣款权限是基于您与网贷平台之间的借款合同以及您的明确授权。如果他人未经您的同意，将您的电话作为网贷联系人，并试图从您的银行卡上扣款，这是不合法的。网贷平台无权仅凭电话联系就擅自扣款，除非他们获得了您的明确授权或存在其他法律依据。

3. 可能的法律后果：

   • 如果他人擅自使用您的银行卡信息进行扣款，您应立即联系银行冻结账户，防止进一步损失，并向当地公安机关报案，追究相关人员的法律责任。同时，您也可以向网贷平台投诉，要求他们停止这种违法行为，并可能要求赔偿因此给您造成的损失。

4. 您的权利与应对措施：

   • 您有权保护自己的财产安全和个人信息安全。如果发现他人未经授权使用您的银行卡信息，您应立即采取行动，包括联系银行、报警和投诉等。同时，您也可以咨询专业律师，了解自己的法律权益和可能的维权途径。

建议：

• 保护个人信息：请务必保护好自己的银行卡信息、密码等敏感信息，不要随意透露给他人。
• 及时沟通：如果发现他人未经授权使用您的银行卡信息，请立即与银行、网贷平台等相关方沟通，要求他们停止违法行为。
• 寻求法律帮助：如果问题无法得到妥善解决，或者您认为自己的权益受到了严重侵害，请及时咨询专业律师，了解自己的法律权益和可能的维权途径。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。