结论：对方扰民时，你“扰回去”的行为是否违法，需根据具体情况判断，一般可能涉及违法，但在特定条件下可能构成正当防卫或紧急避险而不违法。

分析说明：

1. 一般情况下的违法性：

   • 当对方扰民，如制造噪音、干扰他人正常生活时，这种行为本身可能构成对他人安宁权的侵犯。然而，如果你选择以同样的方式“扰回去”，比如也制造噪音、进行言语攻击或采取其他干扰行为，这很可能构成对对方相同权利的侵犯，从而违反《中华人民共和国治安管理处罚法》中关于不得扰乱公共秩序、妨害公共安全、侵犯人身权利、财产权利等相关规定。在这种情况下，你的行为是违法的，可能会受到相应的行政处罚。

2. 特定条件下的正当性：

   • 正当防卫：如果对方的扰民行为升级为对你的人身安全或财产安全的直接威胁，如对方持械闯入你家中、对你进行人身攻击等，你在这种情况下采取的防卫行为，如果符合正当防卫的构成要件（即防卫行为针对正在进行的不法侵害、防卫行为没有明显超过必要限度等），则你的行为是合法的，不构成违法。但需要注意的是，正当防卫的认定需要严格符合法律规定的条件，且通常需要由司法机关进行事后判断。
   • 紧急避险：在极少数情况下，如果对方的扰民行为导致你面临紧急的危险，且无法通过其他合法手段避免时，你采取的避险行为（如暂时破坏对方财物以阻止其继续扰民）可能构成紧急避险。但同样，紧急避险的认定也需要严格符合法律规定的条件，且避险行为造成的损害应当小于避免的损害。

行动建议：

• 保持冷静与理性：面对对方的扰民行为，首先要保持冷静与理性，避免情绪化的回应。
• 收集证据：如果可能的话，收集对方扰民的证据，如录音、录像、证人证言等，以便在需要时向相关部门投诉或报警。
• 寻求合法途径解决：通过向物业、居委会或警方投诉、报警等合法途径来解决问题，而不是采取“以牙还牙”的方式。
• 咨询专业律师：如果问题复杂或涉及较大利益，建议咨询专业律师以获取更具体的法律建议和帮助。

后续思考依据：

• 在判断“扰回去”是否违法时，关键在于行为是否超出了合理的防卫或避险范围，以及是否违反了相关法律法规的规定。
• 正当防卫和紧急避险的认定需要严格符合法律规定的条件，且通常需要由司法机关进行事后判断。因此，在采取任何行动前，应充分考虑行为的合法性和可能带来的法律后果。

如有任何进一步疑问或需要更具体的法律建议，请直接向我咨询。