结论：一般情况下，您不需要退回已经打到您卡上的工资，尤其是当这笔工资是通过项目部农民工工资专用账户发放时。但具体是否需要退回，还需根据实际情况判断，以下为您详细分析：
一、工资专用账户的性质与目的
项目部设立的农民工工资专用账户，其核心目的在于确保农民工工资能够按时、足额发放，避免工资被拖欠或挪用。这一制度设计体现了对农民工权益的特别保护。因此，一旦工资通过该专用账户发放至您的个人账户，即视为您已合法取得该笔工资。
二、包工头要求退回工资的合法性分析
无合法依据：包工头要求您退回已发放的工资，通常缺乏合法依据。除非存在以下特殊情况，如工资发放错误（如金额错误、重复发放等），或者您与包工头之间存在特定的约定（如预支工资后需按约定条件退回等），且该约定不违反法律法规的强制性规定。
违反工资支付规定：若包工头无正当理由要求您退回工资，可能涉嫌违反《劳动法》、《劳动合同法》以及《保障农民工工资支付条例》等相关法律法规中关于工资支付的规定。这些法律法规明确要求用人单位（包括包工头作为实际用工者）必须按时足额支付劳动者工资，不得克扣或无故拖欠。
三、您的应对策略
核实工资发放情况：首先，您应核实工资发放的具体情况，包括发放金额、发放时间、发放方式等，确保工资确实已通过专用账户发放至您的个人账户。
与包工头沟通：在核实工资发放情况后，您可以与包工头进行沟通，了解其要求退回工资的具体原因。若包工头无法提供合法依据或理由不充分，您有权拒绝其要求。
寻求法律援助：若包工头坚持要求您退回工资，且您认为其要求不合理或违法，您可以向当地劳动监察部门投诉或寻求法律援助。在投诉或寻求法律援助时，您应提供相关证据（如工资发放记录、与包工头的沟通记录等）以支持您的主张。
四、特殊情况下的处理
若存在工资发放错误或您与包工头之间存在特定约定等特殊情况，您应根据实际情况与包工头协商解决。若协商无果，您同样可以寻求法律援助或通过法律途径解决争议。
最后，我建议您在处理此类问题时保持冷静和理性，依法维护自己的合法权益。若您有任何疑问或需要进一步的法律帮助，请随时向我咨询。