若遇到没人来调查就直接认定违建的情况，您有权通过合法途径维护自身权益，具体可采取以下措施：

1. 要求行政机关出示认定依据和程序文件
   根据《行政处罚法》第三十六条，行政机关在作出行政处罚前必须全面、客观、公正地调查，收集有关证据。若未履行调查程序直接认定违建，属于程序违法。您可书面要求行政机关提供：

   • 违建认定的法律依据（如《城乡规划法》第六十四条）；
     
   • 现场勘查记录、照片等证据材料；
     
   • 作出认定决定的内部审批文件。
     若对方无法提供，可主张其行政行为违法。

2. 申请行政复议或提起行政诉讼

   • 行政复议：自知道认定决定之日起60日内，向上一级行政机关或本级人民政府申请复议，要求撤销违法认定。复议机关需在60日内作出决定。
     
   • 行政诉讼：若复议未解决或直接起诉，可在知道认定决定之日起6个月内向法院提起诉讼。法院将审查行政机关的程序合法性及证据充分性。
     提示：诉讼中需重点举证行政机关未履行调查义务（如无勘查记录、未听取陈述申辩等）。

3. 通过信访或监督渠道反映问题
   若行政机关存在程序瑕疵，可向其上级部门或纪检监察机关提交书面材料，说明未调查即认定的情况，要求介入调查并纠正违法行为。此途径虽非直接救济手段，但可能推动行政机关主动纠错。

4. 委托专业机构进行建筑合法性鉴定
   若行政机关拒绝提供依据，您可自行委托规划、测绘等机构出具建筑合法性报告，作为反驳证据。例如，证明建筑符合建设时的规划要求，或属于历史遗留问题无需拆除。

关键提醒：

• 保留所有与行政机关沟通的记录（如书面通知、短信、录音等）；
  
• 避免自行拆除建筑，防止被认定为“自认违法”；
  
• 行政行为违法不意味着建筑必然合法，需同步准备证明建筑合法性的证据（如土地证、规划许可等）。
  

如需进一步分析具体证据或程序问题，可直接向我提供认定决定书、沟通记录等材料，我将协助您制定应对方案。