查违建的人不可以随意进门。下面我将从法律角度详细解释这一问题：

1. 法律权限与程序：

   • 查违建属于行政执法行为，必须遵循法定的程序和权限。
   • 执法人员在进行检查时，应当出示执法证件，表明身份，并说明检查的目的、内容和要求。
   • 在没有法定依据或者未按照法定程序的情况下，执法人员不得擅自进入公民的住宅或者其他合法场所进行检查。

2. 私权保护：

   • 公民的住宅受法律保护，不受侵犯。
   • 任何组织或者个人不得非法搜查或者非法侵入公民的住宅。
   • 因此，除非有法律明确规定或者经过法定程序批准，否则查违建的人员不得随意进入公民的住宅。

3. 例外情况：

   • 在某些特殊情况下，如涉嫌违法建筑存在严重安全隐患，可能危及公共安全等，执法机关可能需要在紧急情况下采取措施。
   • 但这种情况下，也应当遵循法定的紧急程序，并尽可能减少对公民合法权益的侵害。

综上所述，查违建的人员不可以随意进门。他们必须遵循法定的程序和权限进行检查，否则将构成对公民合法权益的侵犯。如果你遇到类似情况，可以依法维护自己的合法权益，必要时可以向相关部门投诉或寻求法律援助。