结论：在工厂干活时发现自己的饭盒被别人用过，这一行为本身并不直接构成违法，但可能涉及侵犯个人隐私权或卫生健康权的问题，具体需根据实际情况判断。
分析说明：
不构成直接违法：
- 从法律条文的角度来看，单纯的饭盒被他人使用，并未直接违反我国现行的法律法规。这一行为并未明确被任何法律所禁止，因此，从法律层面讲，它并不构成违法。
可能涉及侵犯隐私权：
- 如果饭盒被使用的过程中，涉及到了个人隐私信息的泄露（例如，饭盒内有个人标识、健康信息等），那么使用饭盒的人可能侵犯了你的隐私权。隐私权是公民依法享有对其个人的、与公共利益无关的个人信息、私人活动和私有领域进行支配的一种人格权。在这种情况下，你可以根据《民法典》中关于隐私权保护的规定，要求侵权人承担相应的民事责任。
可能涉及卫生健康权问题：
- 如果饭盒被使用后，导致你因食用不洁食物而生病或健康受损，那么使用饭盒的人可能侵犯了你的卫生健康权。在这种情况下，你可以根据《民法典》中关于健康权保护的规定，要求侵权人承担医疗费用、误工费等赔偿责任。
行动建议：
- 与对方沟通：首先，你可以尝试与使用你饭盒的人进行沟通，了解其行为动机，并表达你的不满和担忧。通过沟通，可能能够解决问题，避免不必要的法律纠纷。
- 收集证据：如果沟通无果，或者你认为自己的权益受到了严重侵害，那么你可以开始收集相关证据，如饭盒被使用的照片、视频、医疗证明等。这些证据将有助于你在后续的法律程序中维护自己的权益。
- 寻求法律帮助：如果你认为自己的权益受到了侵害，且无法通过沟通解决问题，那么你可以向我咨询，了解具体的法律程序和维权途径。作为专业律师，我将根据你的具体情况，为你提供专业的法律建议和帮助。
后续思考依据：
- 在处理此类问题时，需要综合考虑多种因素，如侵权行为的性质、后果、侵权人的主观故意等。这些因素将影响法律责任的认定和赔偿标准的确定。
- 同时，也需要注意保护自己的合法权益，避免因为一时疏忽或忍让而遭受不必要的损失。在遇到类似问题时，及时寻求法律帮助是一个明智的选择。