劳动者被用工单位违规退回后没有工作期间的工资损失，一般应由用工单位来赔偿。以下从不同角度为你详细分析：

法律依据角度

根据《劳务派遣暂行规定》等相关法律法规，用工单位将劳动者退回劳务派遣单位应当符合法定情形，如劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的；劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的等。如果用工单位违规退回劳动者，导致劳动者在无工作期间遭受工资损失，用工单位应当承担赔偿责任。这是因为用工单位的违规行为直接导致了劳动者收入的减少，从公平和过错责任原则出发，用工单位需要为其过错行为负责。

责任认定角度

1. 用工单位过错：若用工单位没有合法合理的理由就将劳动者退回，例如因为与劳动者发生个人矛盾而恶意退回，或者违反了劳务派遣协议中约定的退回条件等，那么用工单位明显存在过错。在这种情况下，劳动者在无工作期间的工资损失，用工单位必须进行赔偿。赔偿的范围通常包括劳动者原本应得的工资、奖金、津贴等福利待遇。
2. 劳务派遣单位责任：虽然主要责任在用工单位，但如果劳务派遣单位在劳动者被退回后，没有积极履行义务为劳动者重新安排工作，也存在一定过错。不过，这并不免除用工单位的赔偿责任。劳务派遣单位可能需要根据其过错程度，承担相应的补充责任或者与用工单位承担连带责任，但具体要看实际情况和相关证据。例如，如果劳务派遣单位在收到用工单位退回劳动者后，故意拖延不安排新工作，导致劳动者工资损失扩大，那么劳务派遣单位可能要对扩大的损失部分承担一定责任。

实际操作角度

1. 协商解决：劳动者在遭遇这种情况后，首先可以尝试与用工单位和劳务派遣单位进行协商。向他们说明自己被违规退回的情况以及因此遭受的工资损失，要求用工单位给予赔偿。在协商过程中，劳动者可以提供相关的证据，如劳动合同、劳务派遣协议、工资条、被退回的通知等，以支持自己的主张。
2. 申请劳动仲裁：如果协商无果，劳动者可以向当地的劳动争议仲裁委员会申请劳动仲裁。在仲裁申请中，劳动者需要详细陈述事实和理由，提交相关证据，要求仲裁委员会裁决用工单位赔偿自己的工资损失。劳动仲裁是一种较为正式和有效的解决劳动纠纷的方式，仲裁委员会会根据双方提供的证据和法律规定进行裁决。
3. 提起诉讼：如果劳动者对劳动仲裁的结果不满意，还可以在收到仲裁裁决书之日起十五日内向人民法院提起诉讼。在诉讼过程中，劳动者需要进一步提供证据，证明用工单位违规退回自己以及自己遭受的工资损失情况。法院会根据事实和法律进行判决，如果判决用工单位赔偿劳动者的工资损失，用工单位必须履行判决义务。

建议：劳动者在遇到此类问题时，要及时收集和保存相关证据，如工作记录、工资凭证、被退回的通知等，以便在协商、仲裁或诉讼过程中维护自己的合法权益。如果你还有其他关于劳动工伤方面的问题，欢迎直接向我咨询。