结论：这种行为是否违法，需要结合具体情况来判断，一般来说，如果该行为侵犯了您的人格权，如隐私权、安宁权等，那么可能构成违法。
详细分析：
隐私权角度：
- 隐私权是公民的重要人格权之一，它保护公民的私人生活安宁和不愿为他人知晓的私密空间、私密活动、私密信息。
- 如果有人总在您家窗外晃来晃去，且这种行为足以干扰您的私人生活安宁，或者窥探您的私密空间、活动等，那么该行为可能侵犯了您的隐私权。
- 根据相关法律法规，侵犯隐私权的行为可能需要承担民事责任，如停止侵害、赔礼道歉、赔偿损失等。
安宁权角度：
- 安宁权虽然不是我国法律明文规定的独立人格权，但通常被视为隐私权的一部分或相关权益，它保护公民免受外界不必要的干扰和侵扰。
- 如果有人频繁在您家窗外晃来晃去，且这种行为明显干扰了您的正常生活秩序和安宁，那么该行为可能构成对安宁权的侵犯。
- 在这种情况下，您同样有权要求对方停止侵害，并可能根据具体情况要求赔偿损失。
其他可能的角度：
- 如果该行为还伴随着其他不当行为，如偷拍、窃听、骚扰等，那么可能同时侵犯了您的其他人格权或相关权益。
- 在这种情况下，您应及时收集证据，并向公安机关报案或向人民法院提起诉讼，以维护自己的合法权益。
法律建议：
- 如果您认为该行为已经侵犯了您的人格权，建议您首先与对方进行沟通，明确表达您的不满和要求对方停止侵害的意愿。
- 如果沟通无果，您可以考虑向公安机关报案或向人民法院提起诉讼，要求对方承担相应的法律责任。
- 在处理此类纠纷时，建议您注意收集相关证据，如照片、视频、证人证言等，以便在需要时证明自己的主张。
后续行动：
- 如果您决定采取法律行动，建议您咨询专业律师（当然，您可以直接向我咨询，我专注于医疗纠纷、合同纠纷、保险理赔、侵权纠纷等领域），以获取更具体的法律建议和帮助。
- 在处理纠纷的过程中，请保持冷静和理性，避免采取过激行为或言语攻击对方，以免加剧矛盾或引发不必要的法律风险。