在厂里被说闲话造谣，确实是一个比较棘手的问题，但别担心，我可以给你一些具体的建议来帮助你处理这种情况。

首先，最重要的是要妥善保留证据。这些证据可以是你与造谣者的聊天记录、证人的证言，或者是其他任何能够证明造谣行为确实发生的材料。保留好这些证据，对于后续的处理非常重要。

接下来，你可以尝试直接找造谣者沟通。明确地告诉他们，你知道了他们在造谣，并且要求他们停止这种行为，同时消除已经造成的不良影响。如果造谣者能够配合你的要求，那么事情可能就比较容易解决了。

然而，如果造谣者拒绝配合，或者你认为直接沟通无法解决问题，那么你可以向厂内的管理部门或者负责人反映情况。让他们出面来进行调解，或者对造谣者进行相应的处理。

另外，如果造谣行为对你的名誉等方面造成了极其严重的损害，你还可以选择向法院提起民事诉讼。通过法律手段来维护自己的权益，让造谣者承担起相应的民事责任，如停止侵害、恢复名誉、消除不良影响以及赔礼道歉等。

在处理这个过程中，你一定要保持冷静和理性。不要因为一时的冲动而引发其他不必要的纠纷。要以平和的心态来面对这个问题，相信事情总会得到妥善的解决。

最后，我想说的是，虽然被造谣可能会让你感到很不舒服，但请相信，真相总会大白于天下。只要你保持自己的清白和正直，谣言最终会不攻自破。同时，你也可以考虑加强自己的社交能力和人际关系，与同事们建立良好的关系，这样也可以在一定程度上减少谣言的传播和影响。