回避决定应在收到申请之日起的期限，根据处理机关的不同而有所差异，具体如下：
公安机关：
- 一般情况：根据《公安机关办理行政案件程序规定》第二十一条，公安机关应当在收到回避申请之日起两日内作出决定，并通知申请人。这一规定确保了公安机关能够迅速响应当事人的回避申请，保障当事人的合法权益，避免因拖延而影响案件的公正处理。
- 特殊情况：若情况复杂，经县级以上公安机关负责人批准，决定时间可延长至收到回避申请后五日以内。这一延长机制为公安机关在处理复杂案件时提供了必要的时间缓冲，以确保决定的准确性和公正性。
人民法院：
- 一般情况：依据《中华人民共和国民事诉讼法》第五十条（虽为民事诉讼规定，但行政诉讼中回避制度与民事诉讼基本相同，可参照执行），人民法院对当事人提出的回避申请，应当在申请提出的三日内，以口头或者书面形式作出决定。这一规定为法院提供了相对充裕的时间进行审查，同时确保了决定的及时性和有效性。
- 复议程序：如果申请人对决定不服的，可以在接到决定时申请复议一次。复议期间，被申请回避的人员不停止参与本案的工作。人民法院对复议申请，应当在三日内作出复议决定，并通知复议申请人。这一程序设置体现了司法公正和效率并重的原则。
其他行政机关：
- 虽然其他行政机关没有具体的法律规定明确回避申请的决定时间，但基于程序公正和效率的考量，通常也应当在合理且尽可能短的时间内对回避申请作出决定。这既是对当事人权益的尊重，也是维护行政机关公信力和程序正义的必要举措。
总结与建议：
回避制度是司法和行政程序中的重要制度，旨在确保案件处理的公正性和效率。不同处理机关对回避申请的决定时间有所差异，但均应遵循法律程序，确保决定的及时性和公正性。在实际操作中，如果当事人对回避申请的处理时间或结果有疑问，可以直接向我咨询，我将根据具体情况提供详细的法律解释和建议。