结论：公司负责人用投资人的钱做违法的事情，投资人能否退钱需视具体情况而定，但一般而言，投资人可以通过法律途径尝试追回损失。以下从不同角度进行分析：
一、法律关系分析
合同关系：
- 如果投资人与公司之间签订了投资合同，且合同中明确规定了资金用途、投资回报等条款，而公司负责人却擅自将资金用于违法活动，这明显违反了合同约定。
- 在此情况下，投资人可以依据合同法的相关规定，要求公司承担违约责任，包括返还投资款、赔偿损失等。
侵权关系：
- 公司负责人的违法行为可能构成对投资人财产权的侵害。例如，如果负责人将投资款用于非法集资、诈骗等违法活动，导致投资人资金损失，那么负责人就侵犯了投资人的财产权。
- 投资人可以依据侵权责任法的相关规定，要求公司负责人承担侵权责任，包括返还财产、赔偿损失等。
二、追回损失的途径
民事诉讼：
- 投资人可以向法院提起民事诉讼，要求公司或公司负责人返还投资款并赔偿损失。
- 在诉讼过程中，投资人需要提供充分的证据证明公司负责人的违法行为以及自己的损失情况。
- 如果法院认定公司或公司负责人存在违法行为，并造成了投资人的损失，那么法院可能会判决公司或公司负责人返还投资款并赔偿损失。
刑事报案：
- 如果公司负责人的违法行为涉嫌犯罪，如诈骗、非法集资等，投资人可以向公安机关报案。
- 公安机关在立案侦查后，如果认定公司负责人存在犯罪行为，并追回了赃款赃物，那么投资人有可能通过刑事追赃程序获得部分或全部损失的赔偿。
- 但需要注意的是，刑事追赃程序并不保证所有损失都能得到赔偿，因为赃款赃物可能已被挥霍或转移。
行政投诉：
- 如果公司负责人的违法行为违反了相关行政法规，如金融监管法规等，投资人可以向相关行政机关投诉。
- 行政机关在调查处理后，如果认定公司或公司负责人存在违法行为，并作出了行政处罚决定，那么投资人有可能通过行政处罚的执行程序获得部分或全部损失的赔偿。但这种情况相对较少见，且赔偿金额可能有限。
三、特殊情况考虑
公司破产或无力偿还：
- 如果公司因违法行为导致破产或无力偿还债务，那么投资人的损失可能难以得到全额赔偿。
- 在此情况下，投资人可以参与公司的破产清算程序，按照法定顺序申报债权并尝试获得部分赔偿。
投资人自身过错：
- 如果投资人在投资过程中存在过错，如未尽到合理的审查义务、盲目跟风投资等，那么可能影响其追回损失的效果。
- 法院在判决时可能会考虑投资人的过错程度，并相应减轻公司或公司负责人的赔偿责任。
建议：作为投资人，在发现公司负责人用投资人的钱做违法的事情时，应尽快收集证据并咨询专业律师（即我，梁栋律师，专注于刑事辩护、经济纠纷领域）。我将根据具体情况为你提供详细的法律建议和诉讼策略，帮助你尽可能追回损失并维护自己的合法权益。