行政复议并不总是向上一级行政机关申请，而是根据具体情况来确定复议机关。以下是不同情形下的具体规定：

1. 实行垂直领导的行政机关：

   • 对于海关、金融、国税、外汇管理等实行垂直领导的行政机关以及国家安全机关的具体行政行为，如果不服，应当向上一级主管部门申请行政复议。例如，对某市海关的行政处罚决定不满，就应向上一级海关申请行政复议。

2. 地方各级人民政府：

   • 对于地方各级人民政府（如镇政府、县政府等，不包括实行垂直领导的行政机关）的具体行政行为，如果不服，可以向上一级地方人民政府申请行政复议。

3. 县级以上地方各级人民政府工作部门：

   • 对于县级以上地方各级人民政府工作部门（如县公安局、市税务局等）的具体行政行为，当事人有权选择向该部门的本级人民政府或上一级主管部门申请行政复议。比如，对县公安局的决定不服，既可以找县政府，也可以找上一级公安部门申请行政复议。

4. 特殊情形：

   • 对省、自治区人民政府依法设立的派出机关所属的县级地方人民政府的具体行政行为不服，应向该派出机关申请行政复议。
   • 对国务院部门或省、自治区、直辖市人民政府的具体行政行为不服，直接向作出该行为的国务院部门或省、自治区、直辖市人民政府申请行政复议。

综上所述，行政复议机关的确定需根据具体行政行为的性质、作出该行为的机关类型以及相关法律法规的规定来综合判断。如果您在实际生活中遇到了需要申请行政复议的情况，建议首先明确作出具体行政行为的机关类型及其隶属关系，然后依据上述规定选择正确的复议机关。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询。