进厂时交的费用，在第二天离职后通常应予退还，除非有明确的合同约定或法律规定不予退还。针对你的问题，我们可以从以下几个方面进行分析：

一. 费用退还的基本原则

1. 无合同约定不退还的情况：如果你与工厂之间并没有签订任何关于费用不予退还的书面合同或协议，那么在你离职后，工厂没有理由继续保留你交纳的费用。
2. 公平原则：从公平的角度来看，你仅工作了一天就离职，工厂并未因你的工作而获得长期利益，因此，退还你交纳的费用是合理的。

二. 可能存在的特殊情况

1. 培训费用：如果工厂在你入职时提供了专业的培训，并且与你签订了培训协议，约定了在一定期限内离职需要支付培训费用，那么这部分费用可能不予退还。但这种情况需要有明确的协议约定。
2. 其他特殊约定：如果双方有其他特殊约定，如服装费、工具费等，并且这些约定是合法的，那么工厂可能有权根据约定不予退还这些费用。

三. 法律依据

• 虽然我国法律并未直接规定此类费用的退还问题，但《中华人民共和国劳动法》第三条规定了劳动者享有平等就业和选择职业的权利，以及取得劳动报酬的权利。从这一角度出发，工厂不应无故扣留劳动者的费用。

四. 结论与建议

综上所述，除非有明确的合同约定或特殊法律规定，否则在你离职后，工厂应退还你交纳的费用。我建议你首先与工厂进行沟通，要求退还费用。如果工厂拒绝退还，你可以考虑向当地劳动监察部门投诉，或者通过法律途径维护自己的权益。如有进一步需要，你可以继续咨询我。