在解答您关于“初步设计评审专家是否要回避勘察单位”的问题时，我们可以结合相关政策文件和实际操作规范来详细阐述。

首先，从政策层面来看，多个地方的住房和城乡建设管理部门都明确规定了专家回避的原则。以阳江市住房和城乡建设局发布的通知为例，其中明确指出：“与项目的初步设计单位有隶属或利害关系的评审专家不应参加该项目的初步设计评审，专家本人应主动提出回避。”这一规定直接回答了您的问题，即如果评审专家与勘察单位（通常也负责初步设计或与之有紧密关联）存在隶属或利害关系，那么该专家应当回避，以确保评审的公正性和客观性。

其次，从实际操作的角度来看，专家回避制度也是保障评审质量的重要措施。在初步设计评审过程中，专家需要独立、公正地对设计文件进行审查，提出意见和建议。如果专家与勘察单位存在某种关系，可能会影响其判断的公正性，甚至导致评审结果的不准确。因此，实行专家回避制度，可以有效避免这种情况的发生，保障评审的公正性和权威性。

此外，韶关市住建管理局的通知中也强调了评审专家应严格履行回避原则，严禁违规审查、人情审查等现象。这进一步说明了专家回避制度在初步设计评审中的重要性。

综上所述，初步设计评审专家确实需要回避与项目有隶属或利害关系的勘察单位。这是为了保障评审的公正性、客观性和准确性，确保初步设计文件能够得到科学、合理的审查和评价。在实际操作中，项目建设单位在抽取评审专家时，应严格遵守回避原则，确保评审工作的顺利进行。