拆限杆是否违法，需根据限杆的设置合法性及拆除主体和程序来判断。以下从不同角度进行分析：
一、若限杆本身违法违规设置，则拆除合法
根据交通运输部等四部门印发的《关于深入开展道路限高限宽设施和检查卡点专项整治行动的通知》，以下限高限宽设施（限杆）必须拆除：
以交通管控、污染防治为名，在公路和城市道路上设置的限高限宽设施：这些设施若未经合法程序设置，或设置目的不合理，影响正常通行，则属于违法违规设置，应予以拆除。
在国道、省道、县道以及城市道路上设置的侵入建筑限界的限高限宽设施：除非符合有关要求，否则必须坚决拆除。这些设施可能危及行车安全，造成交通事故隐患。
违反《公路安全保护条例》规定，未经县级交通运输主管部门或者乡级人民政府依法批准，擅自在乡道、村道上设置的限高限宽设施：这些设施未经合法审批，属于擅自设置，应予以拆除。
在乡道、村道上设置的影响卫生急救和消防车辆应急通行的、存在安全隐患的、用于向通行车辆收费的限高限宽设施：这些设施不仅影响紧急车辆的通行，还可能存在安全隐患或用于非法收费，必须坚决拆除。
在此情况下，拆除违法违规的限杆是合法的行政行为。
二、若限杆设置合法，但拆除主体或程序不合法，则拆除行为可能违法
拆除主体不合法：如果拆除限杆的主体不是具有相应执法权限的部门（如交通运输部门、城市管理部门等），或者拆除行为未经合法授权，则拆除行为可能违法。
拆除程序不合法：即使限杆设置合法，但如果拆除行为未遵循法定程序（如未提前通知、未听取利害关系人意见、未进行合法评估等），则拆除行为也可能被视为违法。
在此情况下，被拆除方可以通过法律途径维护自己的合法权益，如要求拆除方恢复原状、赔偿损失等。
三、建议与风险提示
对于限杆设置方：应确保限杆的设置符合法律法规要求，经过合法审批程序，并设置在合理位置，不影响正常通行和紧急车辆通行。
对于拆除方：应确保拆除行为具有合法依据，遵循法定程序，避免因拆除行为违法而承担法律责任。
对于公众：如发现违法违规设置的限杆或遭遇非法拆除行为，应及时向相关部门举报或寻求法律帮助。
如有任何关于征地拆迁、限杆设置与拆除等方面的法律问题，欢迎直接向我咨询。我将根据您的具体情况，提供专业、全面的法律建议。