结论：跟着别人回家是否违法，需根据具体情况来判断，不能一概而论。以下从不同角度为你详细分析：

1. 若未经允许跟随他人回家，且行为具有骚扰或侵犯性质：

   • 在这种情况下，你的行为可能构成对他人隐私权、住宅安宁权的侵犯。根据《中华人民共和国民法典》的相关规定，自然人享有隐私权，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。同时，住宅安宁权也是公民的基本权利之一，未经允许擅自闯入他人住宅或持续骚扰他人住宅安宁，都可能面临法律责任。
   • 法律后果：如果因此被他人报警，警方可能会根据具体情况对你进行警告、罚款或拘留等处罚。如果情节严重，还可能构成非法侵入住宅罪，面临刑事处罚。

2. 若经他人允许跟随回家，且行为合法合规：

   • 在这种情况下，你的行为是合法的，不构成任何违法或犯罪。因为你是经过他人同意后进入其住宅的，没有侵犯他人的隐私权或住宅安宁权。
   • 建议：尽管如此，在进入他人住宅时，仍应尊重他人的生活习惯和隐私，避免做出不当行为或言语。

3. 特殊情况下的考虑：

   • 如果你是出于救助、保护等合法目的而跟随他人回家（例如，看到他人处于危险之中而跟随进入其住宅进行救助），且事后能够证明你的行为是出于善意和合法目的，那么你的行为通常不会被视为违法。
   • 法律背景：在法律上，对于出于善意和合法目的的行为，通常会给予一定的宽容和理解。但是，这并不意味着你可以随意侵犯他人的权益，而是在确保自己行为合法合规的前提下进行。

进一步思考：

• 在日常生活中，我们应尊重他人的隐私和住宅安宁权，避免未经允许擅自闯入他人住宅或持续骚扰他人。
• 如果遇到需要进入他人住宅的情况（如拜访、救助等），应事先征得他人的同意，并确保自己的行为合法合规。
• 如果因跟随他人回家而引发纠纷或法律问题，建议及时咨询专业律师以获取法律帮助和指导。

如有任何婚姻家庭或刑事辩护方面的法律问题，都可以直接向我咨询，我会为你提供专业、全面的法律解答。