结论：捡到手机不归还并与失主发生肢体冲突的情况，不能简单地判断“判哪边”，而是需要根据具体情节和法律规定，分析双方的行为性质及责任划分。以下从不同角度进行分析：
一、捡到手机不归还的法律性质
侵占行为：
- 根据《中华人民共和国民法典》的相关规定，拾得遗失物应当返还权利人。拾得人应当及时通知权利人领取，或者送交公安等有关部门。如果拾得人拒不返还，可能构成侵占行为，失主有权要求返还并可能追究其民事责任。
刑事责任：
- 在特定情况下，如拾得人以非法占有为目的，将他人的遗忘物或者埋藏物非法占为己有，数额较大且拒不交出的，可能构成侵占罪，需要承担刑事责任。但这一情形通常要求数额较大且情节严重，一般的捡到手机不归还行为通常不构成犯罪。
二、发生肢体冲突的法律性质
失主的行为：
- 如果失主在要求归还手机的过程中，采取了暴力或威胁等非法手段，可能构成违法行为，如故意伤害、寻衅滋事等，需要承担相应的法律责任。
拾得人的行为：
- 如果拾得人在面对失主的要求时，也采取了暴力或反抗等非法手段，同样可能构成违法行为，如故意伤害、防卫过当等。特别是如果拾得人的反抗行为超出了必要的限度，造成了失主的人身伤害，可能需要承担刑事责任。
三、责任划分与法律后果
民事责任：
- 无论双方是否发生肢体冲突，拾得人都有义务归还手机。如果拾得人拒不归还，失主可以通过民事诉讼要求其返还手机并赔偿因此造成的损失。
- 如果双方在冲突中造成了对方的人身伤害或财产损失，受害方有权要求侵权方承担民事赔偿责任。
刑事责任：
- 如果双方的冲突行为构成了犯罪，如故意伤害罪等，那么犯罪方需要承担刑事责任，可能面临有期徒刑、拘役或罚金等处罚。
- 在判断刑事责任时，会综合考虑双方的过错程度、行为性质、后果严重程度等因素。
四、建议与注意事项
保持冷静与理性：
- 在面对类似情况时，双方都应保持冷静与理性，避免采取暴力或威胁等非法手段解决问题。
寻求法律帮助：
- 如果双方无法协商解决纠纷，可以寻求法律帮助，如向公安机关报案或向法院提起诉讼。
尊重法律与秩序：
- 无论结果如何，双方都应尊重法律与秩序，遵守法律规定，不得采取非法手段维护自己的权益。
总结来说，捡到手机不归还并与失主发生肢体冲突的情况，不能简单地判断“判哪边”。而是需要根据具体情节和法律规定，分析双方的行为性质及责任划分。如果双方无法协商解决纠纷，建议寻求法律帮助以维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。