结论：厂里以不让走否则不给钱为由限制你离职的行为是违法的，你有权离职并获得应得的工资。
法律背景与解释：
劳动者离职权利：
- 根据《中华人民共和国劳动合同法》的相关规定，劳动者享有自由离职的权利。无论劳动者工作了多少天，只要提前通知用人单位（试用期内提前三日，非试用期内提前三十日），就可以解除劳动合同。你仅工作了4天，虽然可能处于试用期或未明确约定试用期，但同样享有离职的权利，且无需承担违约责任（除非合同中有特别约定且该约定合法有效）。
工资支付义务：
- 用人单位必须按照劳动合同约定和国家规定，向劳动者及时足额支付劳动报酬。你工作了4天，厂里就必须支付你这4天的工资，不能以任何理由（如你离职）拒绝支付。
厂里行为的违法性：
- 厂里以不让走否则不给钱为由限制你离职，属于违法行为。这种行为侵犯了你的离职自由权和获得劳动报酬的权利。
法律建议：
与厂里协商：
- 首先，你可以尝试与厂里进行协商，明确表达你的离职意愿和要求获得应得工资的诉求。如果厂里同意，那么问题就得到了解决。
向劳动监察部门投诉：
- 如果协商无果，你可以向当地的劳动监察部门投诉。劳动监察部门会依法对厂里的违法行为进行调查处理，并要求厂里支付你应得的工资。
申请劳动仲裁：
- 如果投诉后问题仍未得到解决，你可以向当地的劳动仲裁委员会申请劳动仲裁。劳动仲裁委员会会依法进行裁决，并要求厂里履行支付工资的义务。
保留证据：
- 在整个过程中，你一定要保留好与厂里的沟通记录、工作证明、工资条等证据。这些证据在后续的协商、投诉或仲裁过程中都将起到关键作用。
可能的法律后果：
- 如果厂里坚持违法行为，不支付你应得的工资，那么除了需要支付工资外，还可能面临劳动监察部门的处罚，如罚款、责令改正等。同时，厂里的违法行为也可能影响其声誉和信誉，对其未来的经营和发展产生不利影响。
进一步思考：
- 在未来的工作中，你可以更加注意与用人单位签订劳动合同时的相关条款，确保自己的权益得到充分保障。同时，也可以多了解一些劳动法律法规，以便在遇到类似问题时能够更好地维护自己的权益。
如果你还有其他疑问或需要进一步的法律帮助，请直接向我咨询。