违建的处理不能仅由街道单方面说了算，需依据法定程序并由相关执法部门综合认定与处理。具体分析如下：

1. 违建的认定主体与程序
   根据《城乡规划法》第六十四条，违建的认定需由县级以上地方人民政府城乡规划主管部门（如自然资源局、城管局等）进行。街道办虽可能参与前期巡查或协助调查，但无权直接认定违建。认定需满足以下条件：

   • 建筑物未取得建设工程规划许可证或未按照许可证内容建设；
     
   • 执法部门需通过现场勘查、调取规划档案、询问当事人等方式固定证据；
     
   • 最终认定需以书面《违法建设认定书》形式作出，并告知当事人陈述、申辩权利。

2. 街道办的角色与权限
   街道办在违建处理中通常承担以下职责：

   • 日常巡查与报告：发现疑似违建后，需上报至规划主管部门或城管部门；
     
   • 协助执法：在执法部门组织拆除时，可能负责现场秩序维护或群众沟通；
     
   • 限期整改通知：部分地区授权街道办发出《责令改正通知书》，但需明确整改期限及法律依据。
     但街道办无权直接作出罚款、强制拆除等处罚决定，若其单独实施强制行为，可能涉嫌程序违法。

3. 违建的处理方式与救济途径

   • 处理方式：
     
     • 限期改正：对可采取改正措施消除影响的违建，责令补办手续或整改；
       
     • 罚款：对无法改正的，处以工程造价5%-10%的罚款；
       
     • 强制拆除：对严重违反规划且无法改正的，由执法部门申请法院强制执行。
       
   • 救济途径：
     若当事人对违建认定或处理决定不服，可依法申请行政复议（60日内）或提起行政诉讼（6个月内），通过法律程序维护权益。

4. 实务建议

   • 若收到街道办或执法部门的违建通知，首先核实通知主体是否为法定部门，并要求其出示书面认定文件；
     
   • 对认定有异议的，及时委托律师分析规划许可、建设时间等关键证据，制定复议或诉讼策略；
     
   • 即使建筑物确属违建，也需关注执法程序是否合法（如是否给予陈述申辩机会、是否催告等），避免程序违法导致处理决定被撤销。

总结：违建处理需严格遵循法定程序，街道办仅能参与部分环节，最终认定与处罚权在规划或城管部门。若您面临此类问题，可直接向我咨询具体细节，我将结合地方性法规与实务经验为您分析应对方案。