若违建查处时建筑材料被拖走，您可按照以下步骤处理：

1. 确认执法主体与程序合法性
   首先需核实拖走建筑材料的部门是否为具有行政执法权的机关（如城管、规划部门等），并确认其执法程序是否合法。根据《行政强制法》第十八条，行政机关实施行政强制措施应当出示执法身份证件、通知当事人到场、听取陈述申辩等。若执法人员未履行法定程序（如未出示证件、未制作现场笔录），您可主张程序违法，要求返还材料或申请行政复议/诉讼。

2. 区分建筑材料性质与处置方式

   • 若材料被认定为违建组成部分：根据《城乡规划法》第六十八条，执法部门有权查封、扣押与违建直接相关的工具、设备、材料等。此时您需配合调查，但可要求执法部门出具《查封/扣押决定书》及《物品清单》，明确材料名称、数量、保管地点等信息。
     
   • 若材料被错误扣押：若材料与违建无关（如剩余未使用的建材），您可提供购买凭证、施工合同等证据，证明材料所有权，要求执法部门立即返还。若遭拒，可依据《国家赔偿法》第四条申请行政赔偿。

3. 通过法律途径维权

   • 行政复议：自知道扣押行为之日起60日内，向上一级行政机关或本级政府申请复议，要求撤销违法扣押决定并返还材料。
     
   • 行政诉讼：若复议未果，可在6个月内向法院起诉，主张执法部门超越职权、程序违法或滥用职权。法院判决后，您可依据生效判决申请强制执行返还材料或赔偿损失。
     
   • 证据固定：及时拍摄现场照片、视频，保留扣押决定书、物品清单等文件，并记录执法人员信息，为后续维权提供依据。

4. 特殊情形处理

   • 材料损毁或灭失：若扣押期间材料因保管不善损坏或丢失，您可要求执法部门按市场价赔偿，并可依据《行政强制法》第二十八条主张国家赔偿。
     
   • 紧急使用需求：若材料为生产生活必需品（如临时搭建的防雨棚材料），您可向执法部门说明情况，申请临时使用或提前返还，但需提供替代方案或担保。

建议：处理此类问题时，务必保持冷静，避免与执法人员冲突。优先通过书面形式（如律师函、复议申请书）主张权利，若情况复杂或涉及重大财产损失，可直接向我咨询具体操作方案。