建筑类司法鉴定需要回避的人员主要包括与鉴定事项存在特定利害关系或可能影响鉴定公正性的人员。具体来说：
身份关系回避：
- 如果司法鉴定人是本案的当事人，或者与当事人有近亲属关系（如夫妻、直系血亲、三代以内旁系血亲以及近姻亲等），应当回避。
利害关系回避：
- 司法鉴定人本人或其近亲属与建筑类司法鉴定事项有利害关系，例如存在经济利益、名誉关联等，可能影响鉴定的公正性时，应当回避。
职务关系回避：
- 如果司法鉴定人曾经担任过本案的证人、勘验人、辩护人、诉讼代理人，或者与本案当事人有长期业务往来、深厚朋友关系、曾有过矛盾纠纷等其他可能影响鉴定公正性的关系，也应当回避。
法律依据：
- 《刑事诉讼法》第三十二条明确规定，关于回避的规定适用于鉴定人。这意味着在建筑类司法鉴定中，同样需要遵循回避制度，以确保鉴定的公正性和客观性。
回避的实施：
- 司法鉴定人如果发现自己存在应回避的情形，应当主动提出回避申请。
- 当事人也有权要求存在回避情形的司法鉴定人回避，并向相关机构或负责人提出申请。
- 回避决定应由相关机构或负责人作出，并确保整个回避过程的公正性和透明度。
综上所述，建筑类司法鉴定需要回避的人员主要包括与鉴定事项存在身份关系、利害关系、职务关系或其他可能影响鉴定公正性的人员。这些回避情形的设定，旨在确保司法鉴定的公正性、独立性和客观性，维护当事人的合法权益。