结论：从法律角度来看，你扇回去的行为是否“错”了，不能简单判定，这取决于具体情境和法律评价，可能涉及正当防卫的认定以及侵权责任的承担问题。以下从不同角度为你详细分析：

一、正当防卫的角度

1. 正当防卫的构成要件：

   • 正当防卫要求防卫行为必须针对正在进行的不法侵害。
   • 防卫行为必须是为了保护合法权益免受不法侵害。
   • 防卫行为必须没有明显超过必要限度造成重大损害。

2. 应用到本案例：

   • 如果家人扇你一巴掌的行为构成不法侵害，且该侵害正在进行中，你扇回去的行为可以视为一种防卫行为。
   • 然而，要判断你的防卫行为是否“适当”，即是否没有明显超过必要限度，这需要根据具体情况来评估。例如，如果家人只是轻微地扇了你一巴掌，并未造成严重伤害，而你扇回去却导致了家人受伤，那么你的防卫行为可能被认为超过了必要限度。

3. 法律后果：

   • 如果你的行为被认定为正当防卫，那么你将不承担法律责任。
   • 如果你的行为被认定为防卫过当，那么你可能需要承担一定的法律责任，如民事赔偿等。

二、侵权责任的角度

1. 侵权责任的构成要件：

   • 侵权责任要求行为人实施了侵权行为。
   • 侵权行为造成了损害后果。
   • 侵权行为与损害后果之间存在因果关系。
   • 行为人主观上存在过错（故意或过失）。

2. 应用到本案例：

   • 如果你扇回去的行为造成了家人受伤或其他损害，且该行为与损害后果之间存在因果关系，同时你主观上存在过错（如故意或过失），那么你可能需要承担侵权责任。

3. 法律后果：

   • 如果你的行为被认定为侵权行为，那么你可能需要承担民事赔偿责任，包括赔偿家人的医疗费、误工费等损失。
   • 在某些情况下，如果你的行为情节严重，还可能构成犯罪，需要承担刑事责任。

三、实际建议

1. 保持冷静：在面对冲突时，尽量保持冷静和理智，避免采取过激行为。
2. 寻求和解：如果可能的话，尝试与家人进行沟通和和解，以化解矛盾。
3. 咨询法律意见：如果你对自己的行为是否合法或是否需要承担法律责任存在疑问，建议咨询专业律师以获取更具体的法律意见。

进一步思考：在处理家庭矛盾时，除了考虑法律后果外，还应考虑家庭关系、情感因素等。有时候，通过沟通、理解和包容来解决问题可能比通过法律手段更为有效和持久。如果你有任何法律问题或需要进一步的法律咨询，请直接向我提问。