不是单位职工但给单位做账，在特定情况下是可以追责的。以下从不同角度为你详细分析：
一、从合同关系角度
如果非单位职工与单位之间存在书面的做账服务合同，明确约定了双方的权利和义务，包括做账的范围、质量标准、报酬支付方式以及违约责任等。那么，当该非职工人员没有按照合同约定履行做账义务，比如做账出现严重错误、延误做账时间等，给单位造成损失时，单位可以依据合同中的违约责任条款，向该人员追究违约责任，要求其赔偿损失。
例如，合同中约定做账人员需保证账目准确无误，若因做账错误导致单位被税务机关处罚，单位可以要求做账人员承担相应的罚款损失。
二、从侵权责任角度
如果非职工人员在做账过程中，由于故意或重大过失，侵犯了单位的合法权益，比如泄露单位的商业秘密、财务信息等，给单位造成经济损失或其他不良后果的，单位可以依据《中华人民共和国民法典》中关于侵权责任的规定，要求该人员承担侵权责任，赔偿单位的损失。
比如，做账人员将单位的财务数据泄露给竞争对手，导致单位在市场竞争中处于不利地位，遭受经济损失，单位可以要求做账人员赔偿这部分损失。
三、从刑事责任角度（若构成犯罪）
如果非职工人员在做账过程中，存在严重的违法行为，且情节恶劣，可能构成犯罪的，将面临刑事责任的追究。例如，做账人员与单位内部人员勾结，通过做假账的方式，骗取单位的财物，数额较大的，可能构成职务侵占罪或诈骗罪等。在这种情况下，司法机关将依法对其进行刑事处罚，单位也可以作为受害方，在刑事诉讼中提起附带民事诉讼，要求犯罪人员赔偿单位的损失。
建议：
如果你有进一步的法律问题或需要更详细的法律建议，可以直接向我咨询，我会结合你的具体情况，为你提供更专业的解答。