行政机关在违反行政管理秩序时，确实可以成为行政处罚的对象。这一结论可以从以下几个方面进行详细阐述：
法律依据：
- 根据《中华人民共和国行政处罚法》第三条的规定，公民、法人或其他组织违反行政管理秩序的行为应受行政处罚。行政机关作为法人的一种，同样适用此规定。
具体情形：
- 外部行政管理领域：当行政机关在社会经济活动或外部事务中违反相关行政管理秩序时，如未取得施工许可证擅自施工等建设违规行为，其他有权行政机关（如当地建设行政主管部门）将依据相关法律法规对其作出行政处罚，措施可能包括责令停止施工、罚款等。
- 内部行政管理领域：虽然内部行政管理领域的处理与外部行政处罚在性质、依据和程序上存在差异，但行政机关若违反内部行政管理规定，如违反上级财政纪律或专项资金使用违规，上级行政机关或有关部门也会依据相关规定给予相应处理，这可能包括对责任人员的行政处分、责令改正等措施。
处罚方式与责任追究：
- 行政机关违法时，可能的处罚方式包括但不限于警告、罚款、没收违法所得以及责令退赔等。
- 对于行政机关的违法行为，不仅会对单位进行处罚，还可能对相关责任人员进行个人责任的追究。
综上所述，行政机关在违反行政管理秩序时，无论是外部行为还是内部管理上的违规，都可能成为行政处罚的对象。处罚的实施主体通常是上级行政机关、有权监督的机关或法律特别规定的特定行政机关。如果你对此有更多疑问或需要进一步的法律咨询，请直接向我提问，我会为你提供更详细的解答。