你有权利要求对方归还你的手机，并且对于电话卡被丢弃所造成的损失，你也可以依法主张相应的权益。以下是从不同角度为你进行的分析：
一、手机作为遗失物的返还义务
法律依据：
- 根据《中华人民共和国民法典》第三百一十四条，拾得遗失物，应当返还权利人。拾得人应当及时通知权利人领取，或者送交公安等有关部门。
法律分析：
- 在你的情况下，手机被他人捡走，对方作为拾得人，有义务将手机返还给你。这是法律规定的拾得人的基本义务，不因其个人意愿而改变。
二、电话卡被丢弃的损失主张
法律性质：
- 电话卡作为手机的一部分或附属物，其被丢弃可能构成对你财产权的侵害。虽然电话卡本身价值可能不高，但其承载的通讯功能和服务对你来说可能具有重要价值。
法律主张：
- 你可以要求对方赔偿因电话卡被丢弃而造成的直接损失，如补办电话卡的费用、因通讯中断而产生的额外费用等。如果电话卡中存储有重要信息或数据，且因对方行为导致丢失或损坏，你还可以主张相应的数据恢复费用或信息损失赔偿（但需注意，数据或信息的价值可能较难量化，需根据具体情况评估）。
三、应对措施与建议
与对方沟通：
- 首先尝试与对方进行沟通，明确告知其法律规定和你的权益，要求对方归还手机并赔偿因电话卡被丢弃而造成的损失。在沟通过程中，保持冷静和理性，避免情绪化或过激的言行。
寻求第三方帮助：
- 如果沟通无果，你可以寻求公安机关、居委会或村委会等第三方的帮助进行调解。这些机构通常具有调解民间纠纷的经验和权威，可能有助于促使对方归还手机并赔偿损失。
法律途径：
- 如果上述方法均无效，你可以向人民法院提起民事诉讼，要求对方返还手机并赔偿损失。法院将依据相关法律法规进行审理和判决，维护你的合法权益。
四、注意事项
- 在处理此类纠纷时，务必保留好相关证据，如手机丢失的证明、与对方的沟通记录、电话卡补办费用发票等。这些证据将有助于你在调解或诉讼过程中证明自己的权益和损失。
- 同时，也提醒你在日常生活中注意保管好自己的财物和通讯工具，避免类似情况的发生。如果可能的话，可以考虑为手机等贵重物品购买保险或设置防盗措施，以降低损失风险。
综上所述，你有权利要求对方归还你的手机并赔偿因电话卡被丢弃而造成的损失。如果对方拒绝履行义务，你可以通过沟通、调解或法律途径来维护自己的权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。