清除道路上的建筑是否属于违法行为，取决于该建筑是否违反了相关法律法规关于公路建筑控制区的规定。
若建筑位于公路建筑控制区内，则清除该建筑是合法的：
- 根据《公路法》第五十六条，除公路防护、养护需要的以外，禁止在公路两侧的建筑控制区内修建建筑物和地面构筑物。违反此规定，在公路建筑控制区内修建建筑物、地面构筑物的，由交通主管部门责令限期拆除，并可以处五万元以下的罚款。逾期不拆除的，由交通主管部门拆除，有关费用由建筑者、构筑者承担。
- 公路建筑控制区的范围，根据《公路安全保护条例》第十一条，从公路用地外缘起向外的距离标准为国道不少于20米，省道不少于15米，县道不少于10米，乡道不少于5米。属于高速公路的，公路建筑控制区的范围从公路用地外缘起向外的距离标准不少于30米。
若建筑不位于公路建筑控制区内，或虽位于控制区内但符合特定条件，则可能不被视为违法行为：
- 如果建筑虽然位于公路建筑控制区内，但系因公路防护、养护需要而修建，且符合相关法律法规的规定，则可能不被视为违法行为。
- 另外，如果建筑在修建时已经获得了县级以上地方人民政府交通主管部门的批准，那么其存在也可能是合法的。
综上所述，清除道路上的建筑是否属于违法行为，需要具体分析该建筑是否违反了公路建筑控制区的相关规定。如果建筑确实违反了规定，那么清除该建筑是合法的，且相关执法部门有权要求建筑者、构筑者限期拆除，并可能处以罚款。如果建筑符合规定或已经获得批准，则清除该建筑可能构成违法行为。因此，在进行相关行动前，建议咨询当地交通主管部门或专业律师以获取准确的法律意见。