评标专家在评标过程中，如果存在应当回避而不回避的情况，这通常被视为一种违法行为，并会受到相应的行政处罚。

首先，我们来明确一下“应当回避”的情形。根据相关法律法规，如《中华人民共和国政府采购法》及其实施条例，以及《中华人民共和国招标投标法实施条例》，评标专家与供应商之间如果存在特定的利害关系，如参加采购活动前3年内与供应商存在劳动关系、担任供应商的董事或监事、是供应商的控股股东或实际控制人，或者与供应商的法定代表人或负责人有亲属关系等，都应当主动申请回避，以确保评标的公平公正。

当评标专家在明知存在这些应回避的情形下，仍然选择不回避，并参与评标活动，这就构成了违法行为。这种行为不仅违反了法律法规的规定，也损害了政府采购或招标投标活动的公平性和公正性，可能对其他供应商造成不公平的竞争环境。

对于这种违法行为，相关法律法规也规定了相应的处罚措施。例如，根据《中华人民共和国政府采购法实施条例》第七十五条，政府采购评审专家与供应商存在利害关系未回避的，将处以2万元以上5万元以下的罚款，并禁止其参加政府采购评审活动。同时，其评审意见将被视为无效，不得获取评审费，如有违法所得还将被没收，给他人造成损失的还需依法承担民事责任。

此外，《中华人民共和国招标投标法实施条例》第七十一条也明确规定，评标委员会成员应当回避而不回避的，由有关行政监督部门责令改正；情节严重的，禁止其在一定期限内参加依法必须进行招标的项目的评标；情节特别严重的，还将取消其担任评标委员会成员的资格。

因此，评标专家在参与评标活动时，必须严格遵守回避制度，确保评标的公平公正。如遇应回避事项，应及时、主动申请回避，以避免不必要的法律风险和处罚。