执法人员应当回避的情形主要涉及到与案件有直接利害关系或者其他可能影响公正执法的关系。以下是详细解释：
一、回避的必要性
回避制度的设立是为了确保执法过程的公正性、客观性和公信力。通过要求执法人员在特定情形下回避，可以最大程度地减少个人情感、利益等因素对执法过程的影响，从而维护法律的权威和公信力。
二、应当回避的具体情形
亲属关系：
- 如果执法人员与当事人有夫妻关系、直系血亲关系（例如父母、子女）或三代以内旁系血亲关系（例如兄弟姐妹、祖父母、外祖父母等），应当回避。亲属关系可能导致执法人员在处理案件时产生偏见，影响公正性。
利害关系：
- 如果执法人员本人或者其近亲属（如配偶、父母、子女等）与案件有利害关系，例如案件处理结果可能直接影响其财产、名誉等利益，执法人员应当回避。利害关系可能包括经济利益、恩怨纠纷等，这些因素都可能影响执法人员的公正判断和决策。
其他关系：
- 除了明确的亲属关系和利害关系外，如果执法人员与当事人之间存在其他可能影响公正执法的情形，如长期的商业往来、密切的友谊、明显的敌意或偏见等，也应当回避。这些情形虽然较为模糊，但同样可能对执法人员的公正性产生不良影响。
三、回避的程序与法律依据
- 法律依据：根据《中华人民共和国行政处罚法》的相关规定，执法人员与案件有直接利害关系或者有其他关系可能影响公正执法的，应当回避。当事人认为执法人员符合回避情形的，有权申请回避。
- 程序：当事人提出回避申请的，行政机关应当依法审查，并由行政机关负责人作出决定。决定作出之前，调查工作通常不会停止，以确保行政效率。这是因为行政执法具有一定的现实紧迫性，如果因回避申请而暂停案件调查，可能不利于案件的及时查处及证据固定。
四、听证程序中的回避
- 在听证过程中，如果执法人员与当事人存在上述应当回避的情形，当事人有权向主持听证的机关提出申请，要求该执法人员回避。
- 主持听证的机关在接到申请后，应当及时进行审查并作出决定。如果决定执法人员回避，应确保替换的执法人员与案件无利害关系，以保证听证的公正性和合法性。
综上所述，执法人员应当回避的情形涉及多个方面，主要是为了防止徇私舞弊或发生偏见，确保每一个案件都能得到客观公正的处理。当事人应积极行使自己的权利，对符合回避情形的执法人员提出回避申请，以维护自身的合法权益和法律的公正实施。