驾驶证降级业务并不一定需要回发证地办理。根据相关规定，您可以选择到机动车驾驶证核发地或者核发地以外的车辆管理所办理降级业务。

具体来说，如果您因年龄达到规定标准（如60周岁或70周岁）而需要降级，或者因身体条件变化不再适合驾驶原准驾车型，您可以在体检后，携带必要的身份证明和材料，前往就近的车辆管理所申请降级。这些材料通常包括身份证明原件、驾驶证以及可能需要的白底一寸免冠相片。如果是超龄降级或身体条件变化降级，还可能需要提供体检报告。

值得注意的是，自愿降级业务需要本人亲自办理，不可代办；但超龄降级或身体条件变化降级业务，如因特殊原因无法亲自前往，可以通过提供授权委托书及双方的身份证明原件进行代办，建议通过交管12123申请电子委托。

另外，在办理降级业务时，请确保您的驾驶证不具有记满12分、逾期未审验、被扣押、扣留、暂扣、注销、吊销、撤销等情形，否则可能无法办理。如果与期满换证合并办理，还需确保没有道路交通安全违法行为、交通事故未处理完毕的情形。

总的来说，驾驶证降级业务的办理相对灵活，您可以根据自己的实际情况选择最合适的办理地点和方式。如有任何疑问或需要进一步的帮助，请咨询当地车辆管理所或交管部门。