如果你交的是给劳务派遣单位的费用，且该单位违规收费，那么无论你是否入职，都有权要求其退还，并且你还可以向劳动行政部门投诉。根据《劳动合同法》的规定，劳务派遣单位不得向被派遣劳动者收取费用。若劳务派遣单位违规收费，劳动行政部门会责令其退还并给予处罚。

不过，如果你交的是给第三方中介的介绍费等，那么能否退钱就需要看双方合同的约定了。一般来说：

1. 若合同约定了不去能退费的情形，那就按合同约定处理。

2. 若合同未约定，则需看未去的原因：

   • 若因中介未按约定提供合适岗位等自身违约行为导致你不想去，那你可以要求退费。
   • 若因你自身原因不想去，那退费可能就比较困难了，但你可以与中介协商部分退费。

在决定不去工作并要求退钱之前，我建议你先仔细查看与劳务派遣单位或第三方中介签订的合同，了解其中的违约责任及解除合同的方式。如果可能的话，尽量与对方协商解决，以避免不必要的法律纠纷。当然，如果你在这方面有任何疑问或需要进一步的法律帮助，随时都可以直接向我咨询。