仲裁员的回避主要由仲裁委员会主任决定，特殊情况下（如仲裁委员会主任担任仲裁员时）则由仲裁委员会集体决定。这一规定旨在确保仲裁程序的公正性和独立性，避免利益关联对仲裁结果产生不当影响。以下是对这一问题的详细分析：
一、决定主体
一般情况：在国内仲裁委员会或涉外仲裁机构（如中国国际经济贸易仲裁委员会、中国海事仲裁委员会等）进行仲裁时，仲裁员是否回避，通常由仲裁委员会主任决定。这是基于仲裁委员会主任在仲裁机构中的权威性和中立性，能够较为公正地处理回避申请。
特殊情况：若仲裁委员会主任担任仲裁员，则其回避问题无法由自身决定，此时需由仲裁委员会集体讨论并作出决定。这一安排进一步确保了回避决定的公正性和透明度。
二、法定回避情形
根据《中华人民共和国仲裁法》第三十四条，仲裁员在以下情形下必须回避，当事人也有权提出回避申请：
与案件当事人或代理人的特定关系：如仲裁员是本案当事人或者当事人、代理人的近亲属，或者与本案当事人、代理人有其他关系，可能影响公正仲裁的（如朋友关系、同事关系等）。
与案件存在利益关联：即仲裁员在案件结果中可能获得直接或间接的经济利益或其他利益，这可能导致其难以保持公正立场。
违反职业道德和职业纪律的行为：如仲裁员私自会见当事人、代理人，或者接受当事人、代理人的请客送礼等，这些行为可能损害仲裁员的独立性和公正性。
三、回避申请的提出与决定程序
提出申请：当事人认为仲裁员存在可能影响公正裁决的情形时，有权向仲裁委员会提出回避申请。申请应当以书面形式提出，并说明回避的理由和提供相关证据。
提出时限：回避申请应当在首次开庭前提出；若回避事由在首次开庭后才知道的，可以在最后一次开庭终结前提出。这一规定确保了当事人有足够的时间来发现并提出回避申请。
决定程序：仲裁委员会在收到回避申请后，将由仲裁委员会主任（或仲裁委员会集体，在主任担任仲裁员的情况下）根据申请理由和实际情况，作出是否回避的决定。决定作出后，仲裁委员会应及时通知双方当事人。
四、回避后的程序处理
重新选定或指定仲裁员：一旦仲裁员因回避或其他原因无法履职，应依法重新选定或指定仲裁员，以确保仲裁程序的顺利进行。
已进行程序的重新进行：在仲裁员回避的情况下，当事人可请求已进行的仲裁程序重新进行。但此请求需由仲裁庭决定是否准许，仲裁庭亦可自行决定已进行的程序是否需要重新进行。这一规定旨在平衡当事人的权益和仲裁程序的效率。
在实际仲裁程序中，如果你作为当事人认为仲裁员存在可能影响公正裁决的情形，应当及时向仲裁委员会提出回避申请，并严格按照相应仲裁机构的仲裁规则来行使这一权利。同时，你也可以关注回避决定的作出及其后续的程序处理，以确保自己的合法权益得到充分保障。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。