首先，深夜到小三家找人的行为，从法律角度来看，并不直接构成违法行为，但这一行为可能涉及多个法律层面的问题。下面我详细为你解析：
侵犯隐私与非法侵入：
- 如果你未经允许，深夜擅自进入他人住宅，这可能构成对他人隐私的侵犯，甚至可能触犯非法侵入住宅的法律规定。根据《刑法》的相关规定，非法侵入他人住宅的，可能面临刑事处罚。
寻衅滋事与扰乱治安：
- 如果你的行为导致了争吵、打斗或者其他扰乱社会治安的行为，那么你可能面临治安管理处罚，如罚款、拘留等。
道德层面与社会影响：
- 虽然法律上可能不构成直接违法，但深夜到小三家找人的行为在道德上可能会受到谴责，且可能对你的家庭关系、社会声誉造成负面影响。
证据收集与合法权益：
- 如果你认为你的配偶有外遇行为，并希望通过法律途径维护自己的合法权益，建议你通过合法的方式收集证据，如聘请侦探、律师协助，而不是采取深夜擅闯他人住宅的方式。
综上所述，深夜到小三家找人的行为虽然不直接构成法律上的违法行为，但可能涉及多个法律层面的问题，且可能对你的家庭、社会造成不良影响。我建议你通过合法、合理的方式来处理婚姻家庭中的问题，如果你需要进一步的法律帮助或咨询，可以直接向我提问，我会尽力为你提供专业的法律建议。