结论概述：自带图纸去别人工厂且未签订保密协议，图纸不留给公司是否违法，这主要取决于图纸的性质、使用目的以及是否存在泄露商业秘密的风险。以下从不同角度进行详细分析。
图纸性质与商业秘密：
- 商业秘密定义：根据《反不正当竞争法》的相关规定，商业秘密是指不为公众所知悉、具有商业价值并经权利人采取相应保密措施的技术信息、经营信息等商业信息。如果图纸包含此类信息，且你已采取保密措施（如口头告知、限制接触等），则图纸可能构成商业秘密。
- 图纸不构成商业秘密：如果图纸是公开信息，或者虽然包含一定技术信息但未采取保密措施，且不具有独特的商业价值，那么图纸可能不构成商业秘密。在此情况下，即使未签订保密协议，图纸不留给公司也不太可能构成违法。
保密协议与法律责任：
- 保密协议的作用：保密协议是明确双方保密义务和责任的法律文件。如果双方签订了保密协议，且你违反了协议中的保密义务（如将图纸泄露给第三方），则你可能需要承担违约责任，包括赔偿损失等。
- 未签订保密协议的情况：如果未签订保密协议，但图纸构成商业秘密，且你存在泄露商业秘密的行为（如将图纸复印件或电子版泄露给第三方），则你可能需要根据《反不正当竞争法》等相关法律法规承担侵权责任。然而，如果图纸不构成商业秘密，或者你未泄露图纸内容，则通常不涉及法律责任。
实际使用与风险防控：
- 实际使用情况：即使图纸不构成商业秘密，如果你在工厂使用图纸的过程中涉及了工厂的商业秘密或技术秘密（如工厂的生产工艺、设备配置等），且你未经允许将这些信息泄露给第三方，那么你可能需要承担相应的法律责任。
- 风险防控建议：为了避免潜在的法律风险，建议你在自带图纸去工厂前，与工厂方明确图纸的使用范围和保密要求。如果可能的话，可以签订一份简单的保密协议或备忘录，明确双方的权利和义务。此外，在使用图纸的过程中，你也应谨慎处理，避免泄露任何可能涉及商业秘密的信息。
综合建议：
- 在自带图纸去工厂前，先评估图纸的性质和价值，确定是否构成商业秘密。
- 如果图纸构成商业秘密或涉及工厂的商业秘密，建议与工厂方签订保密协议或备忘录，明确保密义务和责任。
- 在使用图纸的过程中，谨慎处理，避免泄露任何敏感信息。
- 如果对图纸的性质或保密义务存在疑问，建议咨询专业律师以获取更具体的法律建议。
如有任何进一步的问题或需要更详细的法律咨询，请直接向我提问。