单位违反回避制度，可能构成对劳动者权益的侵犯，劳动者可以依法向相关部门投诉或申请劳动仲裁。下面我将对此进行详细分析：

一. 回避制度的法律依据

1. 《劳动合同法》相关规定：虽然《劳动合同法》中未直接提及“回避制度”，但该法强调了用人单位应遵守法律法规、保障劳动者权益的基本原则。回避制度作为保障公正、避免利益冲突的重要机制，其违反可能间接违反《劳动合同法》中关于公平、公正对待劳动者的规定。

2. 其他相关法律法规：在某些特定行业或领域，如国家机关、事业单位等，可能有专门的回避制度规定。这些规定通常旨在防止因亲属关系、利益关系等导致的偏袒、不公等情形。

二. 单位违反回避制度的后果

1. 对劳动者权益的侵犯：单位违反回避制度，可能导致劳动者在晋升、薪酬、工作安排等方面受到不公平对待，从而侵犯劳动者的合法权益。

2. 法律责任的承担：单位因违反回避制度而侵犯劳动者权益的，可能面临法律责任。劳动者可以依法向劳动监察部门投诉，要求单位纠正违法行为并赔偿损失；也可以申请劳动仲裁，通过法律途径维护自己的权益。

三. 劳动者的应对措施

1. 了解回避制度：劳动者应首先了解所在单位或行业的回避制度规定，明确哪些情形需要回避。

2. 收集证据：如发现单位存在违反回避制度的行为，劳动者应及时收集相关证据，如文件、邮件、聊天记录等，以备后续维权之需。

3. 投诉或申请劳动仲裁：劳动者可以向劳动监察部门投诉单位的违法行为，或者申请劳动仲裁，要求单位承担法律责任。在申请劳动仲裁时，劳动者需提交仲裁申请书、证据材料等证据，以证明单位的违法行为。

我建议，劳动者在发现单位违反回避制度时，应勇敢站出来维护自己的权益。同时，也建议单位加强内部管理，严格遵守回避制度，营造公平、公正的工作环境。如有进一步需要，您可以继续咨询我。