结论：小工厂即便只有20来个人，也应当与员工签订劳动合同，这是法律规定的义务，也是保障双方权益的重要措施。
法律背景与依据：
根据《中华人民共和国劳动合同法》的相关规定，用人单位自用工之日起即与劳动者建立劳动关系，并应当订立书面劳动合同。这一规定并未对用人单位的规模或员工数量作出限制，因此，无论工厂规模大小，只要存在用工行为，就应当签订劳动合同。
不签订劳动合同的法律后果：
双倍工资赔偿：如果用人单位自用工之日起超过一个月不满一年未与劳动者订立书面劳动合同的，应当向劳动者每月支付二倍的工资。这对于小工厂来说，无疑是一笔不小的经济负担。
劳动关系认定困难：在没有书面劳动合同的情况下，一旦发生劳动争议，如工资支付、工伤赔偿等，劳动关系的认定可能会变得复杂和困难。这可能会给双方带来不必要的法律纠纷和损失。
信誉受损：不签订劳动合同还可能影响工厂的信誉和形象，不利于工厂的长期发展。在日益重视法治和劳动者权益保护的今天，一个不遵守法律规定的工厂很难赢得员工的信任和社会的认可。
签订劳动合同的好处：
明确双方权益：劳动合同是劳动者与用人单位之间确立劳动关系、明确双方权利和义务的协议。通过签订劳动合同，可以明确双方的工作内容、工作地点、工作时间、劳动报酬等关键条款，避免后续产生纠纷。
保障劳动者权益：劳动合同是劳动者维护自身权益的重要依据。在发生劳动争议时，劳动合同可以作为证据来支持劳动者的主张，保护其合法权益不受侵害。
促进工厂管理：签订劳动合同还有助于工厂进行规范化管理。通过明确双方的权利和义务，可以规范员工的行为和工作流程，提高工作效率和管理水平。
建议与行动：
及时签订劳动合同：小工厂应当尽快与现有员工签订书面劳动合同，并确保合同内容合法、合规、完整。
完善用工制度：除了签订劳动合同外，小工厂还应当完善其他用工制度，如考勤制度、工资支付制度、社会保险制度等，以保障员工的合法权益和工厂的正常运营。
加强法律意识：小工厂应当加强法律意识，了解并遵守相关法律法规，避免因违法用工而带来的法律风险和经济损失。
作为马昭鹏律师，我擅长处理合同纠纷和劳动工伤等法律问题。如果您在小工厂用工方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。