是的，如果你单位认为行政执法人员与检查工作有直接利害关系，可以申请其回避。以下从多个角度对此问题进行详细分析：
一、法律依据
根据《中华人民共和国行政处罚法》第四十三条的规定：“执法人员与案件有直接利害关系或者有其他关系可能影响公正执法的，应当回避。当事人认为执法人员与案件有直接利害关系或者有其他关系可能影响公正执法的，有权申请回避。当事人提出回避申请的，行政机关应当依法审查，由行政机关负责人决定。决定作出之前，不停止调查。”这一条款明确规定了行政执法人员在存在直接利害关系时应当回避的制度，同时也赋予了当事人申请回避的权利。
二、回避的情形
直接利害关系：这通常指的是执法人员与案件当事人之间存在直接的经济利益关系、亲属关系或其他可能影响公正执法的关系。例如，执法人员是案件当事人的近亲属，或者执法人员与案件当事人之间存在直接的债权债务关系等。
其他可能影响公正执法的关系：这包括但不限于执法人员与案件当事人之间存在朋友关系、师生关系、上下级关系等，这些关系虽然不一定直接涉及经济利益，但可能影响执法人员的公正判断。
三、申请回避的程序
提出申请：如果你单位认为行政执法人员与检查工作有直接利害关系，可以向行政机关提出回避申请。申请时应当说明理由，并提供相关证据或线索。
审查决定：行政机关在收到回避申请后，应当依法进行审查。审查的内容主要包括执法人员与案件是否存在直接利害关系或其他可能影响公正执法的关系。审查过程中，行政机关可以听取执法人员和当事人的意见。
决定作出：行政机关负责人根据审查结果作出是否回避的决定。如果决定执法人员回避，应当另行指派其他执法人员继续调查；如果决定不回避，应当告知当事人并说明理由。
四、法律后果
如果申请回避成立：执法人员将不得继续参与该案件的调查和处理工作，以确保执法的公正性和客观性。
如果申请回避不成立：执法人员将继续履行其职责，但当事人如果认为执法人员的执法行为仍然受到利害关系的影响，可以通过其他法律途径进行救济，如申请行政复议或提起行政诉讼等。
五、实际操作建议
及时提出申请：如果你单位发现行政执法人员与检查工作存在直接利害关系，应当及时提出回避申请，以免影响执法的公正性和效率。
提供充分证据：在提出回避申请时，应当尽可能提供充分的证据或线索，以支持你的申请。这有助于行政机关更快地作出决定，并减少不必要的争议。
关注后续处理：无论回避申请是否成立，都应当关注后续的处理情况。如果认为执法人员的执法行为仍然存在问题，可以通过其他法律途径进行救济。
如果你单位在行政执法过程中遇到相关问题，或者需要进一步的法律帮助，可以直接向我咨询。