关于“回避决定谁来作出”的问题，这主要涉及到公务员或党政领导干部的任职回避、地域回避以及公务回避等情形。以下是根据相关法律法规整理的详细解答：

一、任职回避的决定主体

在任职回避的情况下，决定通常由任免机关作出。具体程序如下：

1. 提出回避申请或建议：

   • 公务员本人或所在机关可以提出回避申请或建议。

2. 组织人事部门审核：

   • 组织人事部门会按照管理权限对回避申请或建议进行审核，并提出回避意见。

3. 任免机关作出决定：

   • 任免机关在听取公务员本人及相关人员的意见后，会作出是否回避的决定。
   • 需要回避的，原则上在组织人事部门提出回避意见之日起30日内予以调整。

二、地域回避的决定主体

地域回避主要针对特定职务的公务员，如乡（镇）党委和政府主要领导职务、县（市）党委和政府主要领导职务等。地域回避的决定程序与任职回避类似，也是由任免机关在听取相关意见后作出决定。

三、公务回避的决定主体

在公务回避的情况下，决定通常由所在机关作出。具体程序如下：

1. 提出回避申请或要求：

   • 公务员本人或利害关系人可以及时提出回避申请，或者主管领导可以提出回避要求。

2. 所在机关审查决定：

   • 所在机关会及时进行审查，并作出是否回避的决定，同时告知申请人。

3. 调整公务安排：

   • 对需要回避的，所在机关会调整公务安排，确保公务员不参与可能影响公正执行公务的活动。

四、特殊情况下的决定主体

• 在特殊情况下，如任免机关或所在机关认为有必要直接作出回避决定时，它们可以直接作出决定，而无需经过上述完整的程序。
• 对于跨地区跨部门调整等复杂情况，可能需要报请上级组织（人事）部门协调解决。

五、相关法律法规依据

• 《党政领导干部任职回避暂行规定》：明确了党政领导干部任职回避的情形、程序以及决定主体。
• 《公务员回避规定》：详细规定了公务员任职回避、地域回避和公务回避的情形、程序以及决定主体，是处理公务员回避问题的主要依据。

总结：回避决定的作出主体主要取决于回避的类型（任职回避、地域回避或公务回避）以及具体情况。在大多数情况下，决定由任免机关或所在机关作出，并遵循一定的程序。在特殊情况下，上级组织（人事）部门也可能参与协调解决。