退休时，身份认定主要依据实际工作岗位，而非最初的录用身份。针对您提出的问题，我们可以从以下几个方面进行分析：
一. 退休身份认定的基本原则
根据劳动部《关于贯彻执行〈中华人民共和国劳动法〉若干问题的意见》（劳部发〔1995〕309号）第46条，以及国家经济贸易委员会、人事部、劳动和社会保障部《关于深化国有企业内部人事、劳动、分配制度改革的意见》（国经贸企改〔2001〕230号）第二条的规定，劳动法规定用人单位内的全体职工统称为劳动者，在同一用人单位内，打破“干部”和“工人”的界限，变身份管理为岗位管理。这意味着，退休时的身份认定主要依据实际工作岗位的性质。
二. 实际工作岗位与退休身份的关系
管理岗位与干部身份
- 从事管理、专业技术岗位工作的即为管理人员，按干部身份退休。这包括企业内部担任各级行政领导职务的人员，各职能管理机构的工作人员，以及各生产经营单位中专职从事管理工作的人员。
非管理岗位与工人身份
- 从事具体生产、操作等工作的则被视为工人，按工人身份退休。
三. 特殊情况下的身份认定
- 对于原为干部，后来转为工人岗位的情况，需要在工人岗位工作一至三年才符合工人身份退休的条件。但这一规定并非绝对，具体还需根据单位的规定以及个人的实际情况来确定。
四. 您的具体情况分析
- 您参加工作时是国家录用的干部，但后来换了多个厂，都是以职工身份干活。这意味着，在大部分时间里，您的工作岗位是非管理性质的。
- 因此，在退休时，您的身份更有可能被认定为工人，按照工人身份的相关政策办理退休手续。
五. 建议
- 档案查阅：建议您查阅个人档案，了解档案中是否标注了您的干部或工人身份，以及是否有相关的转正定级表、干部履历表等文件。这些材料是确定身份的重要依据。
- 咨询单位人事部门：由于具体规定可能因地区和单位而异，建议您咨询所在单位的人事部门或相关机构，以获取更准确的信息。
- 了解退休政策：同时，您也需要了解当地的退休政策，包括退休年龄、养老金待遇等方面的规定，以便做好退休前的准备工作。
我的观点：基于您提供的信息和现行法律法规的规定，退休时您更有可能被认定为工人身份。但具体还需根据您的实际情况和单位的规定来确定。如有进一步需要，您可以继续咨询我。