被授权单位以授权单位名义作出处罚，您可以直接以授权单位为被申请人，向其上一级主管部门或本级人民政府申请行政复议。以下是详细分析：

1. 复议被申请人的确定：

   • 根据《中华人民共和国行政复议法》的相关规定，公民、法人或者其他组织认为具体行政行为侵犯其合法权益的，可以向行政复议机关提出行政复议申请。在此情况下，虽然处罚是由被授权单位作出的，但因其是以授权单位的名义进行，故在法律上应视为授权单位的行为。因此，您应将授权单位列为复议被申请人。

2. 复议机关的选择：

   • 通常情况下，对县级以上地方各级人民政府工作部门的具体行政行为不服的，由申请人选择，可以向该部门的本级人民政府申请行政复议，也可以向上一级主管部门申请行政复议。
   • 如果授权单位是垂直领导的部门（如海关、金融、国税、外汇管理等），则您应向上一级主管部门申请行政复议。

3. 复议申请的提出：

   • 您应在知道该具体行政行为之日起六十日内提出行政复议申请，但法律规定的申请期限超过六十日的除外。
   • 申请行政复议时，您需要提交行政复议申请书，并附上相关证据材料，如处罚决定书、身份证明等。

4. 复议过程中的注意事项：

   • 在复议过程中，您应积极配合复议机关的调查和审查工作，提供必要的证据和材料。
   • 如果您对复议机关作出的复议决定不服，还可以在收到复议决定书之日起十五日内向人民法院提起行政诉讼。

5. 针对被授权单位行为的特别考量：

   • 如果被授权单位在作出处罚时存在超越授权范围、违反法定程序等情形，您可以在复议申请中明确指出，并要求复议机关对此进行审查。
   • 如果授权单位对被授权单位的处罚行为不知情或未予追认，这可能影响复议机关对处罚行为合法性的判断，您可以在复议过程中提供相关证据以支持您的主张。

在处理此类复议案件时，建议您注意收集并保留所有相关证据，如处罚决定书、沟通记录、授权文件等，以便在复议过程中充分证明您的主张。如果您在复议过程中遇到任何困难或疑问，可以随时向我咨询，我会根据您的具体情况提供更详细的法律建议。