评审专家与采购人存在关系时，确实可能需要回避，但具体是否需要回避取决于关系的性质和法律规定。以下从不同角度为您详细分析：

一、法律规定的回避情形

根据《中华人民共和国政府采购法》及其实施条例，评审专家与供应商（在采购活动中，采购人可视为供应商的交易对方，相关回避原则同样适用）存在以下利害关系时，应当回避：

1. 劳动关系：参与采购活动前三年内，与供应商存在劳动关系。
2. 职务关系：担任过供应商的董事、监事，或者是供应商的控股股东、实际控制人。
3. 亲属关系：与供应商的法定代表人或者负责人有夫妻、直系血亲、三代以内旁系血亲或者近姻亲关系。
4. 其他可能影响公平公正的关系：与供应商存在其他可能影响政府采购活动公平、公正进行的关系。

若评审专家与采购人存在上述类似关系，且这种关系可能影响到采购活动的公平公正，那么评审专家同样需要回避。例如，如果评审专家是采购人的近亲属，或者与采购人有其他可能影响公正判断的关系，那么该专家应当主动回避或由采购人、采购代理机构要求其回避。

二、回避制度的法律后果

如果评审专家应回避而未回避，将会受到相应的行政处罚。根据《中华人民共和国政府采购法实施条例》第七十五条，政府采购评审专家与供应商存在利害关系未回避的，处2万元以上5万元以下的罚款，并禁止其参加政府采购评审活动。同时，其评审意见无效，不得获取评审费；有违法所得的，没收违法所得；给他人造成损失的，依法承担民事责任。

三、实际操作中的建议

1. 主动审查：评审专家在参与采购活动前，应主动自我审查与采购人、供应商是否存在利害关系，并作出相应承诺。
2. 及时申请回避：如果发现存在应回避的情形，评审专家应及时、主动申请回避，以免受到不必要的法律处罚。
3. 采购人监督：采购人或采购代理机构也应加强对评审专家的监督，确保评审活动的公平公正。如果发现评审专家存在应回避而未回避的情形，应及时要求其回避。

举例说明：假设某政府采购项目中，评审专家张某是采购人李某的近亲属。在评审过程中，张某未主动申请回避，且参与了评审决策。后经举报查实，张某因应回避而未回避，受到了相应的行政处罚。这个案例就充分说明了回避制度的重要性以及违反回避制度的法律后果。

综上所述，评审专家与采购人存在关系时，是否需要回避取决于关系的性质和法律规定。为了确保采购活动的公平公正，评审专家应严格遵守回避制度，采购人或采购代理机构也应加强对评审专家的监督。如果您在这方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。