结论：离职不给结算工资，具体找劳务公司还是工厂，需根据您与哪方签订的劳务合同来确定责任主体，进而确定追责对象。以下为详细分析：
一、合同签订主体决定责任归属
与劳务公司签订合同
- 若您是与劳务公司签订的劳务合同，并被派遣至工厂工作，那么根据劳务派遣的相关规定，劳务公司作为用人单位，应当承担支付您工资的责任。在这种情况下，如果离职时劳务公司不给结算工资，您应当直接向劳务公司追责。
- 法律依据：根据《中华人民共和国劳动合同法》第五十八条，劳务派遣单位是用人单位，应当履行对劳动者的义务，包括支付劳动报酬。
与工厂直接签订合同
- 若您是与工厂直接签订的劳务合同（或劳动合同，视具体合同性质而定），那么工厂作为用人单位，应当承担支付您工资的责任。在这种情况下，如果离职时工厂不给结算工资，您应当直接向工厂追责。
- 法律依据：根据《中华人民共和国劳动法》第五十条，工资应当以货币形式按月支付给劳动者本人，不得克扣或者无故拖欠劳动者的工资。
二、追责途径与建议
协商解决：首先，您可以尝试与责任主体（劳务公司或工厂）进行协商，要求其按照合同约定支付工资。协商过程中，您可以出示相关证据，如工作记录、工资条、合同等，以支持您的诉求。
申请劳动仲裁：如果协商无果，您可以向当地的劳动争议仲裁委员会申请劳动仲裁。在申请仲裁时，您需要提交仲裁申请书、相关证据材料以及您的身份证明等文件。仲裁委员会将依法进行审理，并作出裁决。
- 申请流程：包括提交仲裁申请、受理审查、开庭审理、调解或裁决等步骤。具体流程可能因地区而异，建议您咨询当地劳动争议仲裁委员会或查阅相关法律法规以获取准确信息。
提起诉讼：如果您对仲裁裁决不服，或者责任主体在仲裁裁决后仍不履行支付义务，您可以向人民法院提起诉讼。在诉讼过程中，您需要提交起诉状、相关证据材料以及您的身份证明等文件。法院将依法进行审理，并作出判决。
三、注意事项
- 保留证据：在整个追责过程中，您应当妥善保留与工资支付相关的所有证据，如工作记录、工资条、合同、银行转账记录等。这些证据将有助于您证明自己的诉求是合理的。
- 及时行动：如果您发现离职时工资未得到结算，应当尽快采取行动，以免超过法定的追责时效。根据《中华人民共和国劳动争议调解仲裁法》第二十七条，劳动争议申请仲裁的时效期间为一年，从当事人知道或者应当知道其权利被侵害之日起计算。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供更详细的法律建议。