行政复议部门不是由被申请人决定的。行政复议被申请人的确定，主要依据具体行政行为是由哪个行政机关作出的。以下是详细的确定规则：

1. 直接作出行政行为的机关：公民、法人或者其他组织对行政行为不服申请行政复议的，作出该行政行为的行政机关为被申请人。

2. 共同行为时的共同被申请人：两个以上行政机关以共同的名义作出同一行政行为的，共同作出行政行为的行政机关为共同被申请人。

3. 授权或委托情况下的被申请人：

   • 行政机关委托的组织作出行政行为的，委托的行政机关为被申请人。
   • 行政机关被撤销或者职权变更的，继续行使其职权的行政机关为被申请人。

4. 特殊情形下的被申请人确定：

   • 行政机关设立的派出机构、内设机构或者其他组织，未经法律、法规、规章授权，对外以自己名义作出行政行为的，该行政机关为被申请人。
   • 如果派出机构等获得了法律、法规、规章的授权，能够以自己的名义作出行政行为，则它们自身成为被申请人。
   • 下级行政机关依照法律、法规、规章规定，经上级行政机关批准作出行政行为的，批准机关为被申请人。

综上所述，行政复议的被申请人是由具体行政行为的作出主体及实际情况综合判断的，而不是由被申请人自己决定的。如果您在行政复议方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。