违法建筑认定书不签字，并不影响认定书的法律效力，相关部门仍可依法推进后续处理程序。具体分析如下：

1. 认定书的法律效力
   违法建筑认定书是行政机关依法对建筑物性质作出的行政确认行为，其法律效力不依赖于当事人是否签字。根据《行政处罚法》及相关法规，行政机关在履行调查、取证、告知等程序后，即使当事人拒绝签收，也可通过留置送达、公告送达等方式完成送达程序，认定书自送达或公告期满之日起即产生法律效力。

2. 不签字的法律后果

   • 程序推进不受阻：当事人拒签不影响行政机关依法实施强制拆除、罚款等后续措施。例如，《城乡规划法》第六十八条明确规定，行政机关可对违法建筑采取查封施工现场、强制拆除等措施，无需以当事人签字为前提。
     
   • 举证责任转移：若当事人对认定书内容有异议，需在法定期限内（通常为60日）申请行政复议或提起行政诉讼。拒签可能导致当事人错过异议期，进而丧失通过法律途径撤销认定书的机会。
     
   • 强制执行风险：若当事人未在规定期限内自行拆除违法建筑，行政机关可依法申请法院强制执行，相关费用由当事人承担。

3. 实务建议

   • 及时核查认定书内容：重点审查建筑物是否确实违反规划、消防等强制性规定，以及行政机关是否履行了法定程序（如现场勘验、听证告知等）。
     
   • 主动行使救济权利：若对认定有异议，应在法定期限内申请复议或诉讼，避免因消极应对导致权利丧失。
     
   • 配合行政程序：拒签可能加剧行政机关对当事人主观恶意的认定，反而增加处罚力度。建议通过书面陈述、申辩等方式理性表达诉求。

总结：违法建筑认定书的法律效力不因当事人拒签而受影响，行政机关仍可依法推进处理程序。当事人应重视认定书的法律后果，及时核查内容并行使救济权利，避免因消极应对导致不利后果。如有进一步疑问，可直接向我咨询。