版权或商标盗用行为，主要由县级以上地方主管著作权的部门或工商行政管理部门进行处罚。具体分析如下：
一. 版权盗用的处罚部门
- 处罚主体：根据《中华人民共和国著作权法》第七条，国家著作权主管部门负责全国的著作权管理工作；县级以上地方主管著作权的部门负责本行政区域的著作权管理工作。对于版权盗用行为，这些部门有权进行查处。
- 处罚措施：县级以上地方主管著作权的部门可以责令停止侵权行为，没收违法所得，没收、无害化销毁处理侵权复制品以及主要用于制作侵权复制品的材料、工具、设备等，并可以并处罚款。
二. 商标盗用的处罚部门
- 处罚主体：对于侵犯他人商标专用权的行为，县级以上工商行政管理部门有权进行处罚。
- 处罚措施：工商行政管理部门可以责令侵权人立即停止侵权行为，没收并销毁侵权商品以及专门用于制造侵权商品、伪造注册商标标识的工具，并对侵权人进行罚款。
综上所述，无论是版权盗用还是商标盗用，都有相应的行政管理部门进行处罚。这些部门依据相关法律法规，对侵权行为进行查处，以维护市场秩序和权利人的合法权益。如果您发现有人盗用您的版权或商标，建议及时向相关部门举报。