结论：关于厂里扣的钱在离职时是否发放，这主要取决于扣钱的原因以及工厂是否遵守了相关法律法规和双方的约定。以下分情况详细说明：
合法扣款且离职时结清
- 如果工厂扣的钱是合法的，比如按照双方约定或法律规定扣除的社保、个税、罚款（如因员工违反规章制度造成的损失，且扣除金额合理）等，并且在离职时，工厂按照约定或法律规定的时间结清了所有工资，包括被扣的部分，那么这是合法的。
- 法律依据：根据《中华人民共和国劳动法》第五十条，工资应当以货币形式按月支付给劳动者本人，不得克扣或者无故拖欠劳动者的工资。同时，如果扣款是基于合法原因且符合双方约定，那么离职时应当结清。
非法扣款或离职时未结清
- 如果工厂扣的钱没有合法依据，比如无故克扣工资、以不合理的理由罚款等，或者在离职时未按照约定或法律规定的时间结清所有工资，包括被扣的部分，那么这是违法的。
- 法律后果：根据《劳动保障监察条例》第二十六条，用人单位克扣或者无故拖欠劳动者工资报酬的，由劳动保障行政部门责令限期支付劳动者的工资报酬；逾期不支付的，责令用人单位按照应付金额50％以上1倍以下的标准计算，向劳动者加付赔偿金。
- 维权途径：劳动者可以先尝试与工厂协商解决工资问题；若协商无果，可向当地劳动监察部门投诉或举报工厂的违法行为；如问题仍未解决，可向劳动争议仲裁委员会申请仲裁；对仲裁结果不服的，还可以向人民法院提起诉讼。
建议：
- 在离职前，劳动者应仔细核对工资条，确认工厂是否扣除了合法且合理的费用。
- 如果发现工厂有非法扣款或离职时未结清工资的情况，应及时与工厂沟通并保留相关证据，如工资条、劳动合同、离职证明等。
- 在维权过程中，劳动者应了解自己的权益和维权途径，必要时可以寻求法律援助或咨询专业律师（比如我，张雪琴律师，专注于婚姻家庭、劳动纠纷领域，有问题可以直接向我咨询）。
例子：
假设小李在工厂工作，每月工资5000元。某月，工厂以小李违反规章制度为由扣除了他500元工资。但在离职时，工厂只支付了小李4000元工资，声称剩余的500元是罚款且不予退还。这种情况下，如果小李认为工厂的罚款没有合法依据或罚款金额不合理，他可以向当地劳动监察部门投诉或举报工厂的违法行为，并要求工厂支付剩余的工资和可能的赔偿金。