行政处罚实施机关负责人在执行职务时，通常需要办理并持有执法证。以下是对此问题的详细分析：

一. 执法证的重要性

1. 身份证明：执法证是行政执法人员身份的象征，能够证明其作为执法主体的合法性。
2. 权限证明：执法证上通常会注明执法人员的执法范围和权限，便于公众了解和监督。
3. 保障权益：在执法过程中出示执法证，有助于保护公民的合法权益，防止非法执法行为的发生。

二. 法律依据

1. 《中华人民共和国行政处罚法》第三十七条：行政机关在调查或者进行检查时，执法人员不得少于两人，并应当向当事人或者有关人员出示证件。这里的“证件”，通常指的就是执法证。
2. 《中华人民共和国行政处罚法》第三十四条：明确规定执法人员须持证上岗。

三. 实践中的操作

1. 出示证件的要求：在行政执法实践中，出示执法证已成为一种惯例。这不仅是对执法人员身份和权限的确认，也是对被执法对象权益的一种保障。
2. 公众的权利：公众在遇到行政执法时，也有权要求执法人员出示执法证，以确保自己的合法权益不受侵犯。

四. 特殊情况

1. 负责人身份的特殊性：虽然行政处罚实施机关负责人在职务上可能具有一定的特殊性，但在执行具体的行政执法任务时，他们仍然需要遵循相同的执法程序和规定。
2. 统一标准：无论是普通执法人员还是负责人，都需要持有有效的执法证才能实施具体的行政执法活动。

综上所述，行政处罚实施机关负责人在执行职务时，通常需要办理并持有执法证。这是为了确保执法行为的合法性和正当性，保障公民的合法权益不受非法侵害。

我的观点：对于任何行政执法人员，包括行政处罚实施机关负责人，持有有效的执法证是执行职务的基本要求。如有进一步需要，您可以继续咨询我。