仲裁员是否回避，确实主要由仲裁机构主任决定，但在特定情况下，如仲裁机构主任担任仲裁员时，则由仲裁委员会集体决定。以下是对这一问题的详细分析：

一、一般情形下的决定主体

根据《中华人民共和国仲裁法》第三十六条的规定，仲裁员是否回避，通常由仲裁委员会主任决定。这是因为仲裁委员会主任作为仲裁机构的管理层成员，相对中立，能够更客观地评估回避申请，确保仲裁程序的公正性和独立性。

二、特殊情形下的决定主体

当仲裁委员会主任本人担任仲裁员时，为避免个人利益对决定产生不当影响，其回避问题则由仲裁委员会集体决定。这一规定旨在确保回避决定的公正性和权威性，防止因个人利益冲突而损害仲裁程序的公正性。

三、回避申请的提出与审查

1. 提出时间：当事人认为仲裁员存在可能影响公正裁决的情形时，有权在首次开庭前提出回避申请，并需说明理由。若回避事由在首次开庭后才知晓，可在最后一次开庭终结前提出。
2. 审查与决定：回避申请提出后，由仲裁委员会主任（或仲裁委员会集体，如主任是仲裁员）根据申请理由和实际情况进行审查，并作出是否回避的决定。

四、必须回避的情形

根据《中华人民共和国仲裁法》第三十四条，仲裁员在以下情形下必须回避：

1. 是本案当事人或当事人、代理人的近亲属；
2. 与本案有利害关系；
3. 与本案当事人、代理人有其他关系，可能影响公正仲裁的；
4. 私自会见当事人、代理人，或者接受当事人、代理人的请客送礼的。

五、回避后的程序处理

1. 重新选定或指定仲裁员：若仲裁员因回避或其他原因无法继续履职，应依法重新选定或指定仲裁员，以确保仲裁程序的顺利进行。
2. 已进行程序的重新进行：当事人可请求已进行的仲裁程序重新进行，但此请求需经仲裁庭批准。仲裁庭亦可自行决定是否需要重新进行已进行的程序。

总结：仲裁员的回避制度是仲裁程序中至关重要的一环，它直接关系到仲裁的公正性和权威性。通过明确回避决定的主体与程序、规范回避申请的提出与审查、以及明确回避后的程序处理和必须回避的情形，可以确保仲裁程序在公平、公正的环境中进行，从而保障当事人的合法权益。如果您在劳动仲裁过程中遇到任何问题，或者对仲裁员的回避制度有进一步的疑问，都可以直接向我咨询，我会为您提供专业的法律解答。