关于“行政人员回避由多少日决定”的问题，具体决定时间因处理机关的不同而有所差异。以下是详细的解答：
公安机关：
- 决定时间：根据《公安机关办理行政案件程序规定》第二十一条，公安机关应当在收到回避申请之日起两日内作出决定，并通知申请人。
人民法院：
- 决定时间：依据《中华人民共和国民事诉讼法》第四十八条，人民法院应当在当事人提出回避申请的三日内，以口头或者书面形式作出决定。
- 复议程序：如果申请人对驳回回避申请的决定不服，可以向作出决定的人民法院申请复议一次，人民法院也应当在三日内对复议申请作出决定，并通知复议申请人。
其他行政机关：
- 虽然其他行政机关没有具体的法律规定明确回避申请的决定时间，但基于程序公正和效率的考量，通常也应当在合理且尽可能短的时间内对回避申请作出决定。
综上所述，行政人员回避的决定时间因处理机关的不同而有所不同。公安机关应在两日内作出决定，人民法院应在三日内作出决定，而其他行政机关则应在合理时间内作出决定。如你对此有任何疑问或需要进一步的法律咨询，请直接向我提问。