行政处罚追溯时效的认定机关主要是行政机关，具体由负责查处违法行为的行政机关根据相关法律规定进行判断和认定。以下是对这一问题的详细解答：
一、行政处罚追溯时效的基本规定
根据《中华人民共和国行政处罚法》的相关规定，行政处罚的追溯时效是指行政机关对违法行为人依法追究法律责任的有效期限。超过这一期限，行政机关便不得再对违法行为进行处罚。这一制度旨在保护违法行为人的合法权益，同时促使行政机关及时有效地查处违法行为，维护社会秩序和公共利益。
一般情况：违法行为在二年内未被发现的，不再给予行政处罚。这一规定适用于大多数情形下的违法行为。例如，市场监管部门对于商家短斤少两的一般违法行为，若两年内未发现，则之后不能再进行处罚。
特殊情况：当违法行为涉及公民生命健康安全、金融安全，并且造成了危害后果时，追溯时效延长至五年。例如，食品生产企业的违法行为导致消费者身体受损，即属于此类情况。
其他法律特别规定：如果其他法律对行政处罚追溯时效有特别规定，则依照该特别规定执行。如《中华人民共和国税收征收管理法》规定的五年追溯时效。
二、追溯时效的起算点
行政处罚追溯时效的起算点根据违法行为的具体情况确定：
违法行为发生之日：指违法行为完成或者停止之日。例如，无证驾驶机动车的当天即为违法行为发生之日。
连续状态：对于基于同一个违法故意，连续实施数个独立且触犯同一行政处罚规定的违法行为，追溯时效应从最后一次违法行为终了之日起计算。如商家连续多次销售过期食品，追溯时效从最后一次销售行为的终了之日起算。
继续状态：对于违法行为及其造成的不法状态持续存在的情形，追溯时效应从违法行为终止之日起计算。如工厂持续违法排放污染物，追溯时效从停止排放之日起计算。
三、行政机关在追溯时效认定中的角色
行政机关是负责查处违法行为的主体，也是认定行政处罚追溯时效的关键机关。在具体操作中，行政机关会根据违法行为的性质、后果以及相关法律规定，判断违法行为是否在追溯时效期限内，并据此决定是否给予行政处罚。
调查取证：行政机关在查处违法行为时，会进行调查取证工作，以确定违法行为的性质、发生时间、持续时间等关键信息。这些信息是认定追溯时效的重要依据。
时效判断：根据调查取证的结果，行政机关会判断违法行为是否在追溯时效期限内。如果违法行为在追溯时效期限内，行政机关将依法给予行政处罚；如果超过追溯时效期限，行政机关则不得再对违法行为进行处罚。
法律适用：在认定追溯时效时，行政机关会严格依照相关法律规定进行。如果其他法律对行政处罚追溯时效有特别规定，行政机关将依照该特别规定执行。
四、特殊情况下的处理
时效中断：虽然《行政处罚法》未明确规定追溯时效的中断制度，但在实践中，若违法行为人在追溯时效期限内又实施了新的同类违法行为，通常会重新计算追溯时效。不过，此做法在不同地区和执法领域可能存在差异。此外，若行政机关在追溯时效期间内已立案调查但因故暂时停止，待再次开始调查时，也可能导致追溯时效的中断并重新计算。
逃匿或案件无法处理：若违法后当事人逃匿或因其他原因导致案件无法处理，只要后续能找到当事人或案件能继续处理，仍可随时给予行政处罚。
主动改正与消除后果：若当事人在时效内主动改正错误并消除危害后果，即使仍在时效期内，行政机关也可能根据具体情况免于处罚或减轻处罚。
总结与建议：
行政处罚追溯时效的认定是一个综合考量多方面因素的过程，包括法律规定的时效期限、违法行为的性质及状态、以及时效的中断与延长等。在实际操作中，行政机关会根据具体情况进行判断和适用。如果您对行政处罚追溯时效的认定有具体疑问或需要进一步的法律帮助，请直接向我咨询，我将根据您的具体情况提供详细的法律解答和建议。