“跟着人”这一行为是否违法，取决于具体的行为方式、目的以及是否侵犯了他人的合法权益。以下是对此问题的详细分析：
结论前置
单纯的跟随行为，在未侵犯他人权益且出于正当目的的情况下，通常不构成违法。但若跟随行为涉及侵犯隐私权、构成骚扰、限制人身自由或属于犯罪预备，则可能面临法律责任。
不构成违法的情况
正当目的且未造成困扰：
- 跟随行为基于合理的目的，如家长保护未成年子女、在公共场所保持与同行人不走散等。
- 这种跟随未对他人造成任何困扰或不良影响。
特殊主体执行职务：
- 如警察或便衣警察在执行职务时，可能需要进行跟踪以收集证据或抓捕犯罪嫌疑人，此情况下的跟随行为是合法的。
构成违法的情况
侵犯隐私权：
- 跟随行为具有窥探他人隐私的意图，如为了获取他人不愿公开的私人生活细节、行动轨迹等。
- 未经对方同意，持续秘密跟踪，严重侵犯了他人的隐私权，可能构成民事侵权行为，甚至面临行政处罚。
涉嫌骚扰：
- 如果跟随行为使对方产生了恐惧、不安等不良情绪，影响到其正常生活，且在被明确拒绝后仍不停止，可能构成骚扰。
- 根据《治安管理处罚法》，多次发送淫秽、侮辱、恐吓或者其他信息，干扰他人正常生活的，将受到相应的行政处罚。
限制人身自由：
- 任何形式的限制他人行动自由的行为，如阻止他人离开特定区域、强行跟随进入封闭空间并阻挠其离开，均构成非法拘禁，是明确的违法行为。
犯罪预备：
- 如果跟随行为是为实施犯罪（如抢劫、绑架等）做准备，那么这种跟随就属于犯罪预备阶段的行为，一旦后续实施了相应犯罪，将依据具体犯罪罪名和情节承担刑事责任。
法律建议
在日常生活中，我们应尊重他人的隐私和人身自由，避免进行无端的跟随行为。如果发现自己被不当跟随，应及时向相关部门反映情况，以维护自己的合法权益。同时，对于可能涉及违法的跟随行为，也应及时向警方举报，以维护社会秩序和他人的合法权益。
综上所述，“跟着人”是否违法需根据具体情况判断。在跟随他人时，务必遵守法律法规，不得采取任何违法手段侵犯他人的合法权益。