结论：是否需要退还农民工工资到老板账户，不能一概而论，需根据具体情况判断。以下从不同角度进行分析：
若工资发放存在错误：
- 情况说明：如果老板是因为操作失误（如输错账号、重复发放等）导致农民工工资打到了你的卡上，那么从法律和道德层面，你都有义务退还这笔款项。因为这属于不当得利，即你获得了本不属于你的财产，且这种获得没有法律上的依据。
- 法律后果：如果你不退还，老板有权通过法律途径追讨，包括但不限于向法院提起诉讼，要求你返还不当得利。在诉讼过程中，你需要承担举证责任，证明你获得这笔款项的合法性，否则将面临败诉的风险，并需要退还款项及可能产生的利息或损失。
若工资发放不存在错误，但老板要求退还：
- 情况说明：如果老板声称工资发放错误，但实际上并没有错误，或者老板出于其他原因（如想要调整工资分配、逃避税务等）要求你退还工资，那么你有权拒绝退还。因为这种情况下，你获得的工资是合法且应得的，老板的要求没有法律依据。
- 法律建议：在这种情况下，你可以要求老板提供工资发放错误的证据或说明其他合理原因。如果老板无法提供，你可以坚持不退还，并保留好相关证据（如工资条、银行转账记录等），以备不时之需。如果老板采取不当手段（如威胁、骚扰等）逼迫你退还，你可以向相关部门（如劳动监察部门、公安机关等）投诉或报警。
特殊情况考虑：
- 如果涉及农民工工资专用账户：根据相关规定，农民工工资应当通过专用账户发放。如果你的账户并非农民工工资专用账户，且老板将工资打入你的账户可能违反了相关规定或合同约定，那么你需要谨慎处理。在这种情况下，最好先与老板沟通清楚，了解工资发放的具体情况和原因，再决定是否退还。
- 如果涉及税务问题：如果工资发放涉及税务问题（如老板想要通过你的账户逃避税务等），那么你绝对不能退还。因为这不仅可能涉及违法犯罪行为，还可能给你带来不必要的法律风险和损失。
综合建议：在处理此类问题时，建议你先与老板进行沟通，了解工资发放的具体情况和原因。如果确认是工资发放错误，且没有其他特殊情况，那么你应该退还这笔款项。如果老板的要求没有法律依据或存在其他特殊情况，你可以拒绝退还，并保留好相关证据以备不时之需。如果有任何疑问或不确定之处，建议你及时向我咨询，以便更好地维护自己的合法权益。