在探讨何种情况下应当依法从轻或者减轻行政处罚时，我们主要依据《中华人民共和国行政处罚法》的相关规定。以下是对这一问题的全面分析：

一、结论前置

根据法律规定，当事人在以下情形中应当依法从轻或者减轻行政处罚：

1. 主动消除或者减轻违法行为危害后果的；
2. 受他人胁迫或者诱骗实施违法行为的；
3. 主动供述行政机关尚未掌握的违法行为的；
4. 配合行政机关查处违法行为有立功表现的；
5. 法律、法规、规章规定的其他应当从轻或者减轻行政处罚的情形。

二、详细解释

1. 主动消除或者减轻违法行为危害后果的

当事人在实施违法行为后，若能够积极采取措施，消除或减轻该违法行为所造成的危害后果，表明其有悔改之意，且已尽力弥补错误。例如，某企业违法排放废水，但在被查处后立即停止排放，并采取措施治理已造成的污染，这种情况即可从轻或减轻处罚。

1. 受他人胁迫或者诱骗实施违法行为的

若当事人是在他人的胁迫（如暴力威胁、名誉损害等）或诱骗（如虚假承诺、隐瞒真相等）下实施了违法行为，且其并未完全丧失意志自由，只是在他人的不当影响下做出了违法行为，那么其主观过错相对较小。在此情况下，法律给予从轻或减轻处罚，以体现对被动违法者的宽容和理解。

1. 主动供述行政机关尚未掌握的违法行为的

当事人若主动向行政机关交代其尚未掌握的其他违法行为，这不仅有助于行政机关全面了解案情，还体现了当事人的诚信和悔过态度。例如，在税务检查中，企业主动供述了税务机关尚未掌握的其他偷税漏税行为，这种主动供述的行为应当得到从轻或减轻处罚的鼓励。

1. 配合行政机关查处违法行为有立功表现的

当事人在配合行政机关查处违法行为时，若不仅如实提供相关证据和信息，还通过提供重要线索、协助抓获其他违法嫌疑人等方式立功，为行政机关的执法工作做出了积极贡献。在此情况下，从轻或减轻处罚是对当事人立功行为的表彰和鼓励。

1. 法律、法规、规章规定的其他应当从轻或者减轻行政处罚的情形

除了上述明确列举的情形外，法律、法规、规章还可能根据特定领域、特定违法行为的特点，规定了其他应当从轻或减轻行政处罚的情形。这些特殊规定旨在保护特定群体的权益，体现法律的公平和正义。例如，对于初次违法且情节轻微的当事人，或者对于及时纠正违法行为并采取措施防止危害后果扩大的当事人，法律可能规定从轻或减轻处罚。

综上所述，从轻或减轻行政处罚的适用是一个综合考量多种因素的过程。行政机关在做出处罚决定时，应严格依法办事，同时兼顾公平、正义和人文关怀。若您在具体案件中遇到相关问题，欢迎随时向我咨询。