行政复议单位，即行政复议机关，是依法有权受理行政复议申请，对被申请的具体行政行为进行合法性、适当性审查并作出决定的行政机关。其确定主要依据被申请人的身份和行政行为的性质，以下从多个角度为您详细分析：

一、县级以上地方政府部门作为被申请人

1. 一般情况：若对县级以上地方各级人民政府工作部门的具体行政行为不服，您可以选择向该部门的本级人民政府或上一级主管部门申请行政复议。例如，对县公安局的决定不满，既可向县政府也可向市公安局提出复议。

2. 特殊垂直领导部门：对于海关、金融、国税、外汇管理等实行垂直领导的行政机关及国家安全机关的具体行政行为，您需向上一级主管部门申请行政复议。如，对某市海关的决定不服，应向其上一级海关申请复议。

二、省级以下地方各级政府作为被申请人

对除省、自治区、直辖市人民政府以外的其他地方各级人民政府的具体行政行为不服时，您应向上一级地方人民政府申请行政复议。例如，对某县人民政府的决定不满，应向所属的设区的市人民政府申请复议。

三、国务院部门或省级政府作为被申请人

对国务院部门或省、自治区、直辖市人民政府的具体行政行为不服，您应向作出该行为的机关本身申请行政复议。若对复议决定不服，可向法院提起行政诉讼，或选择向国务院申请裁决，国务院将作出最终裁决。

四、派出机关与派出机构作为被申请人

1. 派出机关：行政公署、区公所、街道办事处等派出机关作为被申请人时，由设立该派出机关的人民政府作为行政复议机关。例如，对街道办事处的决定不服，应向设立它的区政府申请复议。

2. 派出机构：

   • 授权情况：若法律、法规、规章授权派出机构以自己名义作出具体行政行为，则设立该机构的部门或其本级地方人民政府为行政复议机关。如，对公安派出所作出的警告或500元以下罚款不服，可向设立它的公安局或所属区政府申请复议。
   • 未授权情况：若派出机构未取得法律、法规、规章授权而对外以自己名义作出具体行政行为，视为设立它的部门所作出的行为，以该部门的上一级主管部门或本级地方人民政府为行政复议机关。

五、共同被申请人与被撤销的行政机关

1. 共同被申请人：当两个或两个以上行政机关以共同名义作出具体行政行为时，它们的共同上一级行政机关为行政复议机关。

2. 被撤销的行政机关：对被撤销的行政机关在撤销前所作出的具体行政行为不服，您应向继续行使其职权的行政机关的上一级行政机关申请行政复议。

法律建议：

• 在申请行政复议前，请务必确认被申请人的身份和行政行为的性质，以便准确选择行政复议机关。
• 提交行政复议申请时，请确保材料齐全、符合法定形式，并按照法定程序进行申请。
• 若对行政复议决定不服，您有权依法向人民法院提起行政诉讼或选择向国务院申请裁决（针对国务院部门或省级政府的具体行政行为）。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供更为详细和专业的法律意见。