行政机关在进行行政处罚时，应当严格遵循以下原则，以确保处罚的合法性、公正性和合理性：

1. 处罚法定原则：

   • 这是行政合法性原则在行政处罚中的具体体现。它要求行政处罚必须依法进行，包括实施处罚的主体必须是法定的行政主体，处罚的依据必须是法定的，以及行政处罚的程序必须合法。这一原则不仅要求实体合法，还要求程序合法，确保处罚行为在法律的框架内进行。

2. 处罚与教育相结合原则：

   • 行政处罚不仅是制裁行政违法行为的手段，也是教育人们遵守法律的一种形式。行政机关在实施处罚时，应当注重教育与处罚的相结合，通过处罚达到教育的目的，促使违法行为人认识到自己的错误，并改正行为。

3. 公正、公开原则：

   • 公正原则要求在实施行政处罚时，不仅形式要合法，而且内容也要合法，符合立法目的。公开原则则要求行政处罚的依据、过程及结果都要公开，接受社会监督，提高公民对行政机关的信任度，同时保障相对方的合法权益。

4. 一事不再罚原则：

   • 这一原则指的是对相对方的某一违法行为，不得给予两次以上同类（如罚款）处罚。它解决了行政实践中多头处罚与重复处罚的问题，确保相对方不会因同一违法行为受到多次处罚。

5. 过罚相当原则：

   • 这一原则要求行政主体对违法行为人适用行政处罚时，所科罚种和处罚幅度要与违法行为人的违法过错程度相适应。既要避免轻过重罚，也要避免重过轻罚，确保处罚的公正性和合理性。

综上所述，行政机关在进行行政处罚时，应当严格遵循上述原则，确保处罚行为的合法性、公正性和合理性。同时，行政机关也应当注重教育与处罚的相结合，通过处罚达到教育的目的，促使违法行为人认识到自己的错误并改正行为。