结论：原单位以借入单位没打考勤为由要追回已发工资，这一做法是否合理，需根据具体情况来判断，一般情况下不合理，但若存在特定情形则可能合理。以下从不同角度进行分析：
一、一般情况下不合理
工资发放的依据：
- 工资是劳动者提供劳动后应得的报酬，其发放通常基于劳动者与用人单位之间的劳动关系以及劳动者实际提供的劳动。
- 在借调关系中，虽然劳动者被借调到另一单位工作，但其与原单位的劳动关系仍然存在，原单位仍负有支付工资的义务。
考勤与工资的关系：
- 考勤是用人单位管理劳动者的一种方式，用于记录劳动者的工作时间、出勤情况等。
- 然而，考勤并非工资发放的唯一依据。即使借入单位未对借调人员进行考勤，只要借调人员实际提供了劳动，且原单位与借调人员之间就工资支付有明确约定，原单位就应按照约定支付工资。
原单位追回工资的合理性：
- 在没有合法依据的情况下，原单位单方面追回已发工资，可能构成对劳动者权益的侵害。
- 如果原单位认为借调人员未提供劳动或提供的劳动不符合约定，应通过合法途径进行核实和处理，而非直接追回工资。
二、特定情形下可能合理
借调协议中的约定：
- 如果原单位、借入单位和借调人员之间签订了借调协议，且协议中明确约定了工资支付方式、考勤要求以及违约责任等条款。
- 在这种情况下，如果借调人员未按照协议约定履行考勤义务或提供劳动，原单位可能根据协议约定追回部分或全部已发工资。
借调人员存在过错：
- 如果借调人员在借调期间存在严重违反劳动纪律、规章制度或借调协议等行为，导致原单位遭受损失。
- 在这种情况下，原单位可能根据相关规定或协议约定，要求借调人员承担赔偿责任，包括追回已发工资等。
三、法律建议
核实借调协议：
- 如果您面临此类情况，首先应核实借调协议中的相关条款，了解各方之间的权利和义务。
收集证据：
- 收集与借调期间的工作情况、工资支付等相关的证据，如工作记录、工资条、借调协议等。
协商或法律途径：
- 与原单位进行协商，寻求妥善解决方案。如果协商无果，可以考虑通过法律途径维护自己的合法权益，如向劳动争议调解仲裁机构申请调解或仲裁，或向人民法院提起诉讼。
最后，借调后面临退休时，原单位以借入单位没打考勤为由要追回已发工资，这一做法在一般情况下是不合理的。但具体是否合理还需根据借调协议中的约定以及借调人员的实际行为来判断。如果您对此有疑问或需要进一步的法律帮助，请直接向我咨询。