关于退休返聘人员是否需要进行年度安全考核的问题，这主要取决于具体的单位规定、行业要求以及返聘合同的约定。虽然从您提供的参考信息中，没有直接涉及到退休返聘人员年度安全考核的明确要求，但我们可以从相关信息中推断出一些原则性的指导思路。

首先，从“关于规范离退休人员返聘工作的通知”中，我们可以看到对于离退休人员的返聘，有一定的条件和程序要求，其中包括了“身体健康且能够承担正常工作任务”这一条件。这意味着，在返聘时，单位已经对离退休人员的身体状况和工作能力进行了初步的评估。然而，这是否意味着需要进行年度的安全考核，还需要看单位的具体规定。

其次，从一般的企业管理角度来看，年度安全考核通常是对在职员工的一种常规管理手段，旨在确保员工的安全意识和技能符合岗位要求，预防安全事故的发生。对于退休返聘人员，如果他们从事的是与安全生产直接相关的工作，或者单位有明确的年度安全考核制度适用于所有员工（包括退休返聘人员），那么他们很可能也需要参加年度安全考核。

最后，退休返聘人员与单位之间是通过签订返聘协议来明确双方的权利和义务的。因此，关于是否需要参加年度安全考核，最直接的依据应该是返聘协议中的相关条款。如果协议中明确规定了需要进行年度安全考核，那么退休返聘人员就需要按照协议要求参加考核。

综上所述，退休返聘人员是否需要参加年度安全考核，取决于单位的具体规定、行业要求以及返聘合同的约定。建议您可以咨询所在单位的人事部门或相关负责人，以了解具体的考核要求和安排。