以工代赈劳务报酬造假退回的处罚需根据具体违法情形、责任主体及后果严重程度综合判定，可能涉及行政处罚、刑事处罚及信用惩戒等多维度责任。以下从不同责任主体及法律适用角度展开分析：

一、对实施造假行为的单位或个人的行政处罚

若以工代赈项目实施单位（如地方政府、项目业主单位）或参与劳务的个人通过伪造考勤记录、虚报工作量等方式骗取劳务报酬，可能触犯《财政违法行为处罚处分条例》第六条及第十四条：

1. 追回被骗取资金：财政部门有权责令限期退还被骗取的以工代赈资金，并要求支付资金占用期间的利息；
2. 罚款处罚：对单位处以骗取金额10%-50%的罚款，对直接负责的主管人员和其他直接责任人员处3000元以上5万元以下罚款；
3. 行政处分：对国家工作人员给予警告、记过直至开除的处分。

典型案例：某县在以工代赈道路建设项目中，村干部与施工方合谋虚报村民务工天数，骗取劳务报酬20万元。财政部门查实后，除全额追回资金外，对村集体罚款10万元，对村主任给予撤职处分。

二、对构成犯罪行为的刑事追责

若造假行为涉及金额较大或存在系统性欺诈，可能触犯《刑法》相关条款：

1. 诈骗罪：以非法占有为目的，虚构事实骗取国家资金，数额较大的（通常3000元至1万元以上），处三年以下有期徒刑、拘役或管制；数额巨大或有其他严重情节的，处三年以上十年以下有期徒刑；
2. 贪污罪：国家工作人员利用职务便利骗取公共财物，数额较大（3万元以上）的，处三年以下有期徒刑或拘役；数额巨大或有其他严重情节的，处三年以上十年以下有期徒刑；
3. 合同诈骗罪：若通过伪造劳务合同等手段骗取资金，可能构成此罪，处罚幅度与诈骗罪类似。

关键区分点：是否具有国家工作人员身份、是否利用职务便利、是否通过合同形式实施诈骗。

三、对参与造假的第三方机构的连带责任

若审计、监理等中介机构在验收过程中未尽到审慎核查义务，导致造假行为未被发现，可能依据《民法典》第一千一百六十五条承担过错赔偿责任。例如：某监理公司未核对原始考勤记录即出具合格报告，后被查实项目存在虚报劳务，法院判决监理公司对财政损失承担20%的补充赔偿责任。

四、信用惩戒与行业禁入

根据《国务院关于建立完善守信联合激励和失信联合惩戒制度加快推进社会诚信建设的指导意见》，造假行为可能被纳入信用记录：

1. 对单位：限制参与政府投资项目招投标、取消财政补贴资格；
2. 对个人：限制担任企业高管、禁止参与以工代赈项目务工。

实务建议：

1. 若发现造假行为，应立即向当地发改委、财政部门或纪检监察机关举报；
2. 涉及刑事犯罪的，公安机关将启动侦查程序，检察机关可提前介入；
3. 责任主体需在行政处罚决定书送达后60日内申请行政复议，或6个月内提起行政诉讼。

如需进一步分析具体案件中的责任划分或证据固定要点，可提供更多细节后为您深入解答。