结论：是否需要归还别人损失的钱财，需根据具体情况判断，主要取决于你是否构成犯罪以及在事件中的具体角色和责任。以下从不同角度进行分析：

1. 如果你构成盗窃罪或诈骗罪的共犯：

   • 法律背景：根据《中华人民共和国刑法》的相关规定，盗窃罪是指以非法占有为目的，秘密窃取公私财物的行为；诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。如果你在拿别人手机的过程中，明知他人意图通过手机进行诈骗或盗窃，并提供了帮助，那么你可能构成共犯。
   • 法律后果：在这种情况下，你不仅需要承担刑事责任，还可能需要承担民事赔偿责任，即归还别人损失的钱财。这是因为你的行为直接导致了别人的财产损失，你有义务进行赔偿。

2. 如果你不构成犯罪，但存在过错：

   • 法律背景：如果你在拿别人手机时，并未意识到他人会利用手机进行诈骗或盗窃，或者你并未参与诈骗或盗窃行为，但你的疏忽或过失导致了手机被他人利用进行诈骗或盗窃，那么你可能不构成犯罪，但存在过错。
   • 法律后果：在这种情况下，虽然你不需要承担刑事责任，但你可能需要承担一定的民事赔偿责任。这取决于你的过错程度以及对方因此遭受的损失。如果法院认定你需要承担赔偿责任，那么你需要归还别人损失的钱财。

3. 如果你完全无过错：

   • 法律背景：如果你在拿别人手机时，完全不知道他人会利用手机进行诈骗或盗窃，且你并未参与任何违法行为，那么你完全无过错。
   • 法律后果：在这种情况下，你不需要承担任何刑事责任或民事赔偿责任。别人损失的钱财应由实际实施诈骗或盗窃行为的人来承担。

建议：

• 如果你发现自己可能涉及此类事件，应立即向公安机关报案，并配合调查。
• 如果你被要求归还别人损失的钱财，但你认为自己无过错或不应承担全部责任，可以寻求法律援助或咨询专业律师，以维护自己的合法权益。
• 在日常生活中，应提高警惕，注意保护个人财物安全，避免给他人可乘之机。

可能的其他情况：

• 如果手机是被他人盗用后用于诈骗或盗窃，且你对此完全不知情，那么你通常不需要承担赔偿责任。但你需要配合公安机关的调查，提供必要的证据和信息。
• 如果你与诈骗或盗窃行为人存在某种关系（如亲属、朋友等），但这并不直接导致你需要承担赔偿责任。除非你能被证明参与了诈骗或盗窃行为，或者存在其他法定赔偿情形。

总之，是否需要归还别人损失的钱财，需根据具体情况判断。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。