结论：在别人到你家里骂你，你打他的情况下，是否违法取决于多个因素，主要包括对方的行为是否构成不法侵害，以及你的防卫行为是否合理且必要。如果符合正当防卫的条件，则不承担法律责任；否则，可能面临民事赔偿甚至刑事处罚。
详细分析：
正当防卫的界定：
- 根据《中华人民共和国刑法》第二十条，为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，属于正当防卫，不负刑事责任。
- 在你的情况下，如果对方到你家里辱骂你，且这种辱骂行为升级为对你的人身安全构成威胁（如动手推搡、持凶器等），你为了保护自己而动手反抗，且反抗行为没有明显超过必要限度，那么你的行为可能构成正当防卫。
防卫过当的责任：
- 如果你的防卫行为明显超过必要限度，造成对方重大损害，那么你的行为可能构成防卫过当。
- 防卫过当需要承担刑事责任，但应当减轻或者免除处罚。例如，如果对方只是辱骂你，并未对你造成实际伤害，而你却动手将对方打成重伤，那么你的行为就可能构成防卫过当。
非正当防卫的情形与后果：
- 如果对方辱骂你，但并未对你构成紧迫的人身安全威胁，或者辱骂行为已经结束，你却主动出手攻击对方，那么你的行为就不属于正当防卫。
- 在这种情况下，你可能需要承担民事赔偿责任，赔偿对方因你的攻击行为而遭受的损失。
- 如果你的攻击行为导致对方伤势达到轻伤及以上程度，你还可能构成故意伤害罪，面临刑事处罚，如拘留、罚款、有期徒刑等。
建议的处理方式：
- 保持冷静并报警：面对他人闯入家中辱骂你，首要任务是保持冷静，确保自己和家人的安全，并立即拨打110报警。
- 收集证据：在保护自身安全的同时，尽量收集对方的辱骂证据，如拍摄视频、照片，记录对方的言行举止。这些证据将在后续的法律程序中起到重要作用。
- 依法维权：配合警方的调查工作，如实陈述事实，提供相关证据。如果对方的行为构成违法或犯罪，你可以依法追究其法律责任。
举例说明：
- 假设对方手持凶器冲进你家中辱骂并试图伤害你，你为了避免自己受到严重伤害而动手反抗，且反抗行为没有明显超过必要限度，那么你的行为就属于正当防卫，不负刑事责任。
- 假设对方只是在你家中辱骂你，并未对你构成实际威胁，你却动手将对方打伤，那么你的行为就可能构成故意伤害罪，需要承担相应的法律责任。
总之，面对别人到你家里骂你的情况，你应该首先判断对方的行为是否构成不法侵害，并根据实际情况采取合理的防卫措施。务必保持冷静，避免冲动行事，以免陷入不必要的法律纠纷。如果你有任何疑问或需要进一步的法律帮助，可以直接向我咨询。