结论：有案底的人到您家，您打他可能面临的惩罚取决于您的行为是否构成违法或犯罪，以及具体的情节严重程度。一般来说，可能涉及行政处罚或刑事处罚，同时您还可能需要承担民事赔偿责任。
分析说明：
行政处罚：
- 如果您的行为被认定为轻微的违法行为，如一般的殴打行为，但未造成严重后果，根据《中华人民共和国治安管理处罚法》的相关规定，您可能会面临警告、罚款或行政拘留等行政处罚。具体处罚措施会根据行为的情节、后果以及您的主观恶性等因素来综合判断。
刑事处罚：
- 如果您的行为构成犯罪，如故意伤害罪，且伤情达到轻伤及以上级别，那么您将面临刑事处罚。根据《中华人民共和国刑法》的相关规定，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。
- 需要注意的是，即使对方有案底，这并不影响您行为的违法性或犯罪性的认定。对方的案底可能会作为量刑时的一个考虑因素，但不会改变您行为的性质。
民事赔偿责任：
- 无论您的行为是否构成违法或犯罪，只要您对对方造成了损害，您都可能需要承担民事赔偿责任。这包括医疗费、护理费、交通费、营养费、住院伙食补助费等为治疗和康复支出的合理费用，以及因误工减少的收入等。
特殊场景：
- 如果您是在正当防卫的情况下打对方，且防卫行为没有超过必要限度，那么您可能不需要承担法律责任。但正当防卫的认定需要严格的法律条件和证据支持，不是您自己认为正当就可以的。
- 如果对方正在实施不法侵害，您为了保护自己或他人的合法权益而采取防卫行为，但防卫行为明显超过必要限度造成重大损害的，您可能需要承担防卫过当的责任，但会依法减轻或免除处罚。
行动建议：
- 保持冷静：在面对冲突时，尽量保持冷静和理智，避免采取过激行为。
- 寻求帮助：如果对方的行为让您感到不安或受到威胁，及时寻求警方或其他相关部门的帮助。
- 了解法律：了解相关的法律法规，明确自己的权利和义务，以便在遇到问题时能够做出正确的判断和应对。
后续思考依据：
- 在处理此类问题时，需要综合考虑行为的性质、情节、后果以及您的主观恶性等因素。
- 对方的案底虽然不会改变您行为的性质，但可能会作为量刑时的一个考虑因素。
- 正当防卫和防卫过当的认定需要严格的法律条件和证据支持，不是您自己认为正当或过当就可以的。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。