结论：您描述的情形下，揍他一般不构成正当防卫，反而可能涉及违法或犯罪行为。
正当防卫的构成要件
首先，我们需要明确正当防卫的构成要件。根据《中华人民共和国刑法》第二十条的规定，正当防卫必须满足以下几个条件：
- 不法侵害现实存在：即存在对国家、公共利益、本人或者他人的人身、财产和其他权利正在进行的不法侵害。
- 不法侵害正在进行：即不法侵害已经开始并且尚未结束。
- 具有防卫意识：即防卫人必须出于保护合法权益的目的。
- 针对侵害人防卫：即防卫行为必须针对不法侵害人本人进行。
- 没有明显超过必要限度：即防卫行为必须在必要合理的限度内进行，不能明显超过必要限度造成重大损害。
您描述的情形分析
不法侵害是否现实存在且正在进行：
- 在您描述的情形中，虽然有人三更半夜来家里三五次，但您并未在家，因此并未直接面临不法侵害。当您回来碰到他时，如果此时他并未对您实施不法侵害（如殴打、抢劫等），则不满足“不法侵害正在进行”的条件。
防卫意识与针对侵害人防卫：
- 即使您认为他的行为构成不法侵害，但揍他的行为必须出于保护合法权益的目的，且必须针对他本人进行。然而，在并未直接面临不法侵害的情况下，揍他可能并非出于防卫目的，而是报复或泄愤。
是否超过必要限度：
- 揍他的行为很可能明显超过必要限度，造成不必要的伤害。正当防卫要求防卫行为在必要合理的限度内进行，而揍他很可能构成过度防卫或故意伤害。
可能的法律后果
如果揍他构成轻微伤：
- 您可能面临《中华人民共和国治安管理处罚法》的处罚，如拘留、罚款等。
如果揍他构成轻伤或重伤：
- 您可能构成《中华人民共和国刑法》中的故意伤害罪，面临刑事处罚，如有期徒刑、拘役等。
建议
保持冷静：
- 在遇到类似情况时，保持冷静和理智至关重要。不要因情绪激动而采取过激行为。
及时报警：
- 如果发现有人三更半夜来家里且行为可疑，应及时报警并等待警察处理。
收集证据：
- 如果可能的话，收集相关证据（如监控录像、目击者证言等）以支持您的报警和后续维权行动。
寻求法律帮助：
- 如果您认为自己的合法权益受到侵害，可以寻求法律帮助并咨询专业律师的意见。
如果您有任何法律问题或需要进一步的法律帮助，请直接向我咨询。