针对您提出的“评标专家回避不相关单位怎么办”的问题，这实际上涉及到评标过程中评标专家的回避原则及具体应用。以下是我为您提供的详细解答：
首先，我们需要明确评标专家回避的基本原则。在招投标活动中，评标专家的回避主要是为了避免因与投标人存在利害关系而可能影响评标公正性的情况。这种利害关系可能包括经济利益关系、亲属关系、法律纠纷关系等，具体可以参照《中华人民共和国政府采购法实施条例》第九条以及相关地方性法规或管理办法中的规定。
针对您提到的“不相关单位”的情况，实际上，如果评标专家与投标人之间不存在上述的利害关系，那么他们就不需要回避。然而，问题的关键在于如何准确判断评标专家与投标人之间是否存在利害关系。
利害关系的判断：
- 根据相关法律法规，利害关系通常包括但不限于：评标专家曾在投标人中任职（特别是近3年内）、评标专家的配偶或直系亲属在投标人中任职、评标专家与投标人发生过法律纠纷、评标专家是投标人的上级主管、控股或被控股单位的工作人员等。
- 如果评标专家与投标人之间存在上述任何一种或多种关系，且这种关系可能影响评标的公正性，那么评标专家就应当主动回避。
回避的处理方式：
- 如果评标专家发现自己与投标人存在利害关系，应当立即向招标人或招标代理机构报告，并主动提出回避申请。
- 招标人或招标代理机构在收到回避申请后，应当进行核实，并根据实际情况决定是否同意评标专家的回避。如果同意回避，应当及时更换评标专家，以确保评标的公正性和顺利进行。
特殊情况的处理：
- 在某些特殊情况下，如评标专家与投标人之间存在关联关系但招投标活动不影响公正性（如投标人为招标人的子公司或控股公司），此时是否需要回避可能需要根据具体法律法规和招标文件的规定来判断。
- 如果招标文件或相关法律法规明确规定了在这种情况下评标专家不需要回避，那么评标专家可以继续参与评标工作。但评标专家应当更加谨慎地履行自己的职责，确保评标的公正性和客观性。
实际操作建议：
- 对于评标专家来说，在参与评标工作前，应当仔细审查自己的身份和背景，确保自己与投标人之间不存在利害关系。
- 对于招标人或招标代理机构来说，在组建评标委员会时，应当严格审查评标专家的资格和背景，确保评标委员会的公正性和专业性。
综上所述，评标专家在面对与投标人是否存在利害关系的问题时，应当根据相关法律法规和招标文件的规定进行判断和处理。如果存在利害关系且可能影响评标的公正性，评标专家应当主动回避；如果不存在利害关系或虽然存在但不影响评标的公正性，评标专家可以继续参与评标工作。希望以上解答能够对您有所帮助。如果您还有其他问题或需要进一步的解释，请随时提问。