结论：您打落他人手机的行为是否违法，取决于对方拍摄您的行为是否侵犯了您的合法权益，以及您打落手机的行为是否超出了必要的限度。以下从不同角度为您详细分析：
一、对方拍摄行为是否侵权
合法拍摄：
- 如果对方在公共场所拍摄您，且拍摄内容不涉及您的隐私或名誉权等合法权益，那么这种拍摄行为通常是合法的。例如，在街头、商场等公共场所，他人拍摄您作为背景或偶然入镜，一般不构成侵权。
非法拍摄：
- 如果对方在非公共场所，如您的家中、办公室等私人空间拍摄您，或者拍摄内容涉及您的隐私部位、敏感信息等，那么这种拍摄行为可能侵犯了您的隐私权。
- 如果对方拍摄您的目的是为了恶意传播、诽谤或侮辱您，那么这种拍摄行为可能侵犯了您的名誉权。
二、您打落手机行为的合法性
正当防卫或紧急避险：
- 如果您认为对方的拍摄行为已经或即将对您的合法权益造成侵害，且您打落手机的行为是为了制止这种侵害或避免更大的损害发生，那么您的行为可能构成正当防卫或紧急避险。但需要注意的是，正当防卫或紧急避险必须满足一定的条件，如防卫或避险的必要性、合理性等。
- 举例：如果对方正在拍摄您的隐私部位，且您多次警告无果后，为了制止这种侵权行为而打落其手机，那么您的行为可能构成正当防卫。
超出必要限度：
- 如果您打落手机的行为超出了制止侵权行为所必需的限度，造成了不必要的损害，那么您的行为可能构成侵权或违法。例如，如果对方只是偶然拍摄您，并未对您的合法权益造成实际侵害，而您却故意打落其手机并造成损坏，那么您的行为可能构成故意毁坏财物罪或侵权行为。
三、法律后果与建议
法律后果：
- 如果您的行为构成正当防卫或紧急避险，且未超出必要限度，那么您通常不需要承担法律责任。
- 如果您的行为超出必要限度或构成其他违法行为，那么您可能需要承担民事赔偿责任、行政处罚甚至刑事责任。
建议：
- 在面对他人拍摄时，首先保持冷静，判断对方的拍摄行为是否合法。
- 如果认为对方的拍摄行为侵犯了您的合法权益，可以尝试通过沟通、警告等方式制止。
- 如果沟通无果或情况紧急，可以考虑寻求警方或其他相关部门的帮助。
- 在任何情况下，都不要采取过激行为，以免给自己带来不必要的法律麻烦。
最后，如果您在面对类似情况时感到困惑或不确定如何处理，可以直接向我咨询。我会根据您的具体情况，为您提供专业的法律建议和帮助。