擅自设立建筑材料公司或分公司的行为，将由公司登记机关责令改正或者予以取缔，并可以并处十万元以下的罚款。

一. 法律依据

• 根据《中华人民共和国公司法》第二百一十条，未依法登记为有限责任公司或者股份有限公司，而冒用有限责任公司或者股份有限公司名义的，或者未依法登记为有限责任公司或者股份有限公司的分公司，而冒用有限责任公司或者股份有限公司的分公司名义的，都将受到相应的处罚。这一条款明确规定了擅自设立公司或分公司的法律后果。

二. 具体处罚措施

1. 责令改正或取缔：公司登记机关在发现擅自设立建筑材料公司或分公司的行为后，将首先责令其改正，即按照法定程序进行登记注册。若拒不改正或情节严重，公司登记机关有权予以取缔。
2. 罚款：除了责令改正或取缔外，公司登记机关还可以并处十万元以下的罚款，以作为对违法行为的进一步惩戒。

三. 实际案例理解

• 例如，某人未经登记注册就擅自设立了一家建筑材料分公司，并以该公司的名义进行经营活动。被公司登记机关发现后，该人将面临被责令改正或取缔，并可能被处以十万元以下罚款的处罚。

综上所述，擅自设立建筑材料公司或分公司的行为是违法的，将受到法律制裁。因此，我建议在进行公司或分公司设立时，务必按照法定程序进行登记注册，以避免不必要的法律风险。如有进一步需要，您可以继续咨询我。