单位一般不能仅因55岁员工不参加考核工作就对其进行不利处理，但具体还需结合实际情况和单位规章制度来判断。以下从不同角度进行分析：
一、从劳动法保护劳动者权益的角度
根据《中华人民共和国劳动法》及相关规定，劳动者享有平等就业和选择职业的权利、取得劳动报酬的权利、休息休假的权利、获得劳动安全卫生保护的权利、接受职业技能培训的权利、享受社会保险和福利的权利、提请劳动争议处理的权利以及法律规定的其他劳动权利。单位不能仅因员工年龄较大或不参加考核工作就剥夺其上述权利，或对其进行不公平的对待，如降薪、调岗、解雇等。
二、从单位规章制度的角度
规章制度合法性：如果单位的规章制度中明确规定了考核工作的相关要求和奖惩措施，并且这些规定不违反法律法规的强制性规定，那么单位可以依据规章制度对不参加考核工作的员工进行处理。但前提是，这些规章制度必须经过民主程序制定，并且已经向员工公示或告知。
规章制度合理性：即使规章制度合法，单位在处理不参加考核工作的员工时，也需要考虑规章制度的合理性。例如，如果规章制度中规定的考核工作对于55岁的员工来说存在不合理之处（如体力要求过高、技能要求与年龄不符等），那么单位不能仅凭员工不参加考核就对其进行不利处理。
三、从实际操作的角度
沟通协商：在处理此类问题时，单位应首先与员工进行沟通协商，了解员工不参加考核工作的原因和困难，并尝试寻找解决方案。如果员工确实存在合理的困难或原因，单位应给予理解和支持，并考虑调整考核方式或提供必要的帮助。
合法合规处理：如果员工无正当理由拒绝参加考核工作，且单位的规章制度中有明确规定，那么单位可以依据规章制度对员工进行处理。但处理过程中必须确保合法合规，避免侵犯员工的合法权益。例如，不能仅凭一次不参加考核就解雇员工，而应给予员工改正的机会，并按照规定的程序进行处理。
四、特殊情况下的处理
如果55岁的员工因身体原因或其他特殊情况确实无法参加考核工作，单位应根据实际情况给予适当的照顾和安排。例如，可以调整考核方式、降低考核标准或提供必要的辅助措施等。
建议：单位在处理此类问题时，应确保规章制度合法合规且合理，并与员工进行充分的沟通协商。如果员工对单位的处理决定存在异议，可以通过劳动争议调解、仲裁或诉讼等途径维护自己的合法权益。如果您有具体的法律问题或需要进一步的法律建议，可以直接向我咨询。