结论：别人往你家拍照是否违法，主要取决于拍照的具体行为、目的以及是否侵犯了你的合法权益。未经允许擅自拍摄你家内部或你的私人信息可能构成违法，而拍摄你家外部且未侵犯你隐私或权益的行为则通常不违法。
详细分析：
未经允许拍摄你家内部或私人信息：
- 家作为私人住宅，具有私密性和排他性，公民享有住宅安宁权和隐私权。如果他人未经许可进入你家并拍照，尤其是拍摄你的私人生活场景、家庭成员等敏感信息，这明显侵犯了你的隐私权和住宅安宁权。
- 根据《中华人民共和国民法典》第一千零三十二条的规定，自然人享有隐私权，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。因此，这种未经允许的拍照行为是违法的。
- 同时，如果拍照者非法侵入你的住宅，还可能触犯《中华人民共和国治安管理处罚法》第四十条的规定，面临相应的行政处罚。
拍摄你家外部且未侵犯隐私或权益：
- 如果他人只是拍摄你家房屋的外部，且没有侵犯你的隐私或权益（如未公开传播、未用于谋利等），那么这种行为通常不构成违法。因为房子外观属于公开可见的部分，从公共空间进行拍摄一般不涉及侵犯他人隐私或权益。
- 但是，如果拍摄行为涉及到了你的隐私或权益的侵犯，比如通过拍摄外部窥探你的内部生活、将照片用于不当用途（如制作虚假广告、进行恶意诋毁等），则可能构成违法。
拍照行为的后续使用：
- 即使拍照行为本身不违法，但如果拍照者将照片用于谋利、传播隐私、侮辱诋毁等违法行为，也可能构成侵权甚至犯罪。例如，将拍摄到的你家内部照片公开传播，或者用于制作虚假宣传材料，都可能对你的名誉和隐私造成损害。
- 因此，你需要关注拍照者后续对照片的使用情况。一旦发现侵权行为，应及时制止并采取法律措施保护自己的权益，比如要求删除照片、公开道歉、赔偿损失等。
总结与建议：
- 在发现有人往你家拍照时，你应首先判断其拍照行为是否侵犯了你的合法权益。如果拍摄的是你家内部或私人信息，且未经你允许，那么这种行为很可能是违法的。
- 如认为拍照行为构成侵权，你应立即制止并要求删除相关照片。如果拍照者拒绝配合，你可以考虑报警或向法院提起诉讼以维护自己的权益。
- 同时，你也应加强自身的隐私保护意识，避免将私人信息暴露于不必要的风险之中。比如，可以通过安装窗帘、设置隐私屏障等方式来保护自己的私人生活空间。
如果你有任何具体的法律问题或需要进一步的法律帮助，请直接向我咨询，我会尽我所能为你提供专业的法律意见和支持。