若代工贴牌工厂被对方知道，应首先确认是否存在侵犯商标专用权的行为，若存在则需立即停止并采取补救措施，若不存在则无需过分担忧。下面我对此进行详细分析：

一. 确认是否存在侵权行为

根据《中华人民共和国商标法》第五十七条，若代工贴牌工厂在未经商标注册人许可的情况下，使用了与其注册商标相同或近似的商标，或者存在其他侵犯商标专用权的行为，如销售侵犯注册商标专用权的商品、伪造或擅自制造他人注册商标标识等，这些都构成侵权。因此，你首先需要确认自己的代工贴牌行为是否涉及上述侵权行为。

• 例如，如果你代工贴牌的产品上使用了与某注册商标相同或相似的商标，且未获得商标注册人的许可，那么就构成了侵权。

二. 若存在侵权行为，应立即停止并采取补救措施

1. 立即停止侵权行为：一旦发现存在侵权行为，应立即停止所有涉及侵权的行为，包括停止生产、销售侵权产品，以及停止使用侵权商标等。

2. 与商标注册人协商：主动与商标注册人联系，承认错误，表达歉意，并寻求解决方案。可能包括支付赔偿、获得商标使用许可等。

3. 法律救济：若与商标注册人无法达成一致，或者面临法律诉讼，应积极应对，寻求法律救济。这可能包括聘请律师进行辩护，或者通过法律途径解决纠纷。

三. 若不存在侵权行为，则无需过分担忧

如果你的代工贴牌行为完全合法，没有侵犯任何商标专用权，那么即使对方知道了你的工厂，也无需过分担忧。你可以继续正常进行你的业务，但也要保持警惕，确保不会无意中侵犯他人的商标权。

我建议：无论是否存在侵权行为，你都应该加强商标意识，确保自己的业务活动符合法律法规的要求。同时，也要密切关注市场动态和法律法规的变化，及时调整自己的业务策略。如有进一步需要，您可以继续咨询我。