结论：手机里有别人的电话号码，单纯将其扔掉这一行为本身通常不直接构成违法，但需根据具体情况判断是否存在侵犯他人隐私权或其他权益的风险。
分析说明：
隐私权保护角度：
- 电话号码属于个人隐私信息的一部分，受到法律保护。然而，单纯将手机扔掉，并不直接等同于非法获取、使用或泄露他人电话号码。关键在于扔掉手机这一行为是否导致了他人电话号码的非法传播或滥用。
- 如果手机在扔掉前已被妥善处理（如恢复出厂设置、删除所有个人信息等），且扔掉后手机未被他人非法获取并利用其中的电话号码，那么通常不构成违法。
物品所有权与处置权角度：
- 手机作为你的个人财产，你拥有对其的处置权。扔掉手机是你行使处置权的一种方式，只要这一行为不侵犯他人的合法权益，就是合法的。
- 但如果手机中存储了他人的敏感信息，且你明知这一点而仍然随意扔掉，导致信息泄露，那么你可能需要承担一定的法律责任，尽管这种责任可能不是直接由扔掉手机这一行为本身引起的。
特殊情况考虑：
- 如果手机中的电话号码是通过非法手段获取的（如窃取、诈骗等），那么即使你只是将其扔掉，也可能因涉及非法获取信息的链条而面临法律风险。
- 另外，如果扔掉手机的行为导致了环境污染或其他公共利益受损，那么你可能还需要承担相应的环境责任或公共责任。
法律建议：
- 在处理包含他人个人信息的物品时，应谨慎行事，确保不会侵犯他人的隐私权或其他合法权益。
- 如果手机中存储了他人的敏感信息，建议在扔掉前进行彻底的数据清除或销毁处理，以防止信息泄露。
- 如果对扔掉手机的行为是否合法存在疑问，或者担心可能因此引发法律纠纷，可以咨询专业律师以获取更具体的法律建议。
后续行动指引：
- 如果你已经扔掉了手机，且担心可能因此引发法律问题，可以回顾一下扔掉手机前的处理情况，如是否进行了数据清除等。
- 如果你发现手机被他人非法获取并利用了其中的电话号码，或者因此受到了任何形式的骚扰或侵害，应立即报警并寻求法律帮助。
如有任何进一步疑问或需要更具体的法律建议，请直接向我咨询。