结论前置：对方来你家拍视频是否违法，主要取决于拍摄行为的具体情况、目的以及是否侵犯了你的合法权益。未经允许擅自拍摄你家内部或你的私人信息可能构成违法，而拍摄你家外部且未侵犯你隐私或权益的行为则通常不违法。
详细分析：
一般情况下未经允许拍视频违法：
- 家作为私人住宅，享有私密性和排他性，公民在此享有住宅安宁权和隐私权。
- 若他人未经许可进入你家并拍摄视频，这侵犯了你的隐私权和住宅安宁权。根据《中华人民共和国民法典》第一千零三十二条，此类行为是违法的。
- 同时，根据《中华人民共和国治安管理处罚法》第四十条，非法侵入他人住宅的，将受到相应的行政处罚。
特殊情况下拍视频不违法：
- 司法执行：如司法机关工作人员依法定程序，持合法手续进入你家进行调查、搜查等活动并拍摄视频，这属于合法的职务行为。
- 经明确同意：若你明确允许他人在你家拍摄视频，那么这种拍摄行为通常不违法。
关于拍摄你家外部的情况：
- 如果他人仅拍摄你家房屋的外部，且未侵犯你的隐私或权益（如未公开传播、未用于谋利等），那么这种行为通常不构成违法。
- 但若拍摄行为涉及到了你的隐私或权益的侵犯，如通过拍摄外部窥探你的内部生活、将视频用于不当用途等，则可能构成违法。
拍摄行为的后续使用：
- 即使拍摄行为本身不违法，但若拍摄者将视频用于谋利、传播隐私、侮辱诋毁等违法行为，也可能构成侵权甚至犯罪。
- 因此，你需关注拍摄者后续对视频的使用情况，一旦发现侵权行为，应及时制止并采取法律措施保护自己的权益。
总结与建议：
- 在发现有人在你家拍摄视频时，你应首先判断其拍摄行为是否侵犯了你的合法权益。
- 如认为拍摄行为构成侵权，你应立即制止并要求删除相关视频；必要时可报警或向法院提起诉讼以维护自己的权益。
- 同时，你也应加强自身的隐私保护意识，避免将私人信息暴露于不必要的风险之中。
法律依据：
- 《中华人民共和国民法典》第一千零三十二条：自然人享有隐私权。任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。
- 《中华人民共和国治安管理处罚法》第四十条：有下列行为之一的，处十日以上十五日以下拘留，并处五百元以上一千元以下罚款；情节较轻的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款：（三）非法限制他人人身自由、非法侵入他人住宅或者非法搜查他人身体的。