统计机构在行使行政处罚裁量权时，应当遵循以下原则：

1. 合法裁量原则：统计机构必须根据统计违法事实、性质、情节、社会危害程度等相关因素，在法律、法规、规章规定的行政处罚种类和幅度内实施相应的行政处罚。这确保了处罚行为的合法性，防止了滥用裁量权。

2. 合理裁量原则（也称过罚相当原则）：统计行政处罚自由裁量权的行使应当过罚相当、宽严相济、公正客观。这意味着处罚应当与违法行为的事实、性质、情节以及社会危害程度相适应，既不过重也不过轻，确保处罚的公正性和合理性。

3. 综合裁量原则：统计机构在行使裁量权时，需要综合考量统计违法行为的事实、性质、情节及社会危害程度，并结合当地经济社会发展实际界定违法程度，从而作出行政处罚决定。这一原则要求统计机构在处罚时考虑全面，确保处罚决定的科学性和准确性。

4. 教育与处罚相结合原则：统计机构在行使行政处罚裁量权时，应以纠正违法行为为首要目标，既要严格执法，维护法律尊严和权威，又要教育行政管理相对人自觉守法，增强法治意识。这一原则体现了处罚与教育并重的理念，有助于提升公众的法治素养和统计数据的真实性。

综上所述，统计机构在行使行政处罚裁量权时，应严格遵守上述原则，确保处罚行为的合法性、公正性、合理性和有效性。如果您在统计行政处罚方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。