结论前置：仲裁员是否回避的决定权主要由仲裁委员会主任行使，但在仲裁委员会主任担任仲裁员的情况下，其回避则由仲裁委员会集体决定。
详细分析：
一般情形下的回避决定：
- 根据《中华人民共和国仲裁法》第三十六条的规定，仲裁员是否回避，通常由仲裁委员会主任决定。这是因为仲裁委员会主任作为仲裁机构的管理者，相对中立，能够更客观地评估回避申请，确保仲裁程序的公正性。
特殊情形下的回避决定：
- 当仲裁委员会主任本人担任仲裁员时，为了避免个人利益对回避决定产生不当影响，其回避问题则由仲裁委员会集体决定。这一规定旨在确保回避决定的公正性和权威性，防止因个人因素而损害仲裁程序的公正性。
回避申请的提出与审查：
- 当事人认为仲裁员存在可能影响公正裁决的情形时，有权在首次开庭前提出回避申请，并需说明理由。若回避事由在首次开庭后才知晓，可在最后一次开庭终结前提出。
- 回避申请提出后，由仲裁委员会主任（或仲裁委员会集体，如主任是仲裁员）根据申请理由和实际情况进行审查，并作出是否回避的决定。这一程序确保了回避申请的及时处理和公正审查。
回避后的程序处理：
- 若仲裁员因回避或其他原因无法继续履职，应依法重新选定或指定仲裁员，以确保仲裁程序的顺利进行。
- 当事人可请求已进行的仲裁程序重新进行，但此请求需经仲裁庭批准。仲裁庭亦可自行决定是否需要重新进行已进行的程序，以保障当事人的合法权益。
法律背景与建议：
- 法律背景：仲裁员的回避制度是仲裁程序中至关重要的一环，它直接关系到仲裁的公正性和权威性。通过明确回避决定的主体与程序、规范回避申请的提出与审查、以及明确回避后的程序处理，可以确保仲裁程序在公平、公正的环境中进行。
- 建议：在实际仲裁程序中，当事人应当严格按照相应仲裁机构的仲裁规则来行使申请回避的权利。若对回避决定有异议，可及时向仲裁委员会提出申诉或寻求法律救济。同时，仲裁机构也应加强内部管理，确保回避决定的公正性和透明度。
可能遇到的法律后果：
- 若仲裁员未按规定回避，可能影响仲裁裁决的公正性和有效性。当事人有权对仲裁裁决提出异议，并可能因此引发仲裁裁决的撤销或不予执行等法律后果。
- 仲裁机构若未按规定处理回避申请，可能损害当事人的合法权益，引发法律纠纷和仲裁机构的信誉危机。
如有任何关于劳动仲裁或建设工程领域的法律问题，欢迎直接向我咨询。