不法分子穿着你的税务制服违法，你通常是没有直接责任的。下面我来详细解释一下这个问题：

1. 责任归属原则：在法律上，责任通常归属于实施违法行为的不法分子本身。如果一个人穿着你的税务制服进行违法行为，比如诈骗、偷税等，那么这个责任应当由该不法分子承担，而不是由你承担。因为是你本人的制服被盗用或冒用，你并没有参与或知情该违法行为。

2. 制服管理责任：虽然你对于自己的税务制服有一定的管理责任，比如确保制服不被丢失或滥用，但这种管理责任并不等同于对不法分子使用制服的违法行为承担责任。如果你的制服是因为管理不善而丢失，你可能需要承担一定的内部管理责任，但这与不法分子的违法行为是两个不同的问题。

3. 法律追责原则：在法律上，对于违法行为的追责是基于行为人的行为和过错来确定的。不法分子穿着你的税务制服进行违法，是其个人的行为和过错，与你无关。除非有证据证明你与不法分子有共谋或明知其违法行为而故意提供制服等情形，否则你不会因此承担法律责任。

综上所述，不法分子穿着你的税务制服违法，你通常是没有直接责任的。但你也应当加强对自己制服的管理，防止类似情况的发生。如果遇到类似问题，建议及时向公安机关报案，并配合相关部门进行调查。