结论：在试用期间，工厂并不能随意让你离职，是否可以解除劳动合同需要依据具体情况和相关法律规定来判断。
详细分析：
试用期解除劳动合同的法定条件：
- 根据《中华人民共和国劳动合同法》的相关规定，在试用期间，如果劳动者被证明不符合录用条件，或者存在严重违反用人单位规章制度、严重失职、营私舞弊给用人单位造成重大损害等情形的，用人单位可以解除劳动合同。
- 这意味着，工厂不能仅凭主观意愿或随意理由在试用期间解除与你的劳动合同，必须要有合法的依据和合理的理由。
工厂随意解除劳动合同的法律后果：
- 如果工厂在没有合法依据的情况下随意解除劳动合同，那么这种行为可能构成违法解除。
- 根据法律规定，违法解除劳动合同的，劳动者有权要求用人单位继续履行劳动合同，或者要求用人单位支付赔偿金。赔偿金的标准通常是按照劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。
劳动者在试用期的权益保护：
- 作为劳动者，在试用期间也享有相应的权益，包括获得劳动报酬、享受社会保险和福利待遇等。
- 如果工厂在试用期间随意解除劳动合同，侵犯了你的合法权益，你可以通过劳动仲裁等法律途径来维护自己的权益。
建议：
- 如果你在试用期间被工厂要求离职，首先要求工厂给出明确的解除理由和依据。
- 如果认为工厂的解除行为没有合法依据，你可以与工厂进行协商，要求继续履行劳动合同或支付赔偿金。
- 如果协商无果，你可以向当地的劳动仲裁机构申请劳动仲裁，通过法律途径来维护自己的权益。
举例：
假设你在某工厂试用期间工作表现良好，没有违反任何规章制度，但工厂却以“不符合录用条件”为由要求你离职。在这种情况下，你可以要求工厂提供具体的“不符合录用条件”的证据。如果工厂无法提供，那么其行为可能构成违法解除，你有权要求工厂继续履行劳动合同或支付赔偿金。
总之，在试用期间，工厂并不能随意让你离职。如果你遇到了类似的情况，不要慌张，可以通过法律途径来维护自己的权益。如果你有任何疑问或需要进一步的法律帮助，可以直接向我咨询。