结论：公司若想在试用期解除与新员工的劳动关系，必须遵循法定条件和程序，不能随意解除。以下从法律角度详细分析：
一、试用期解除的法定条件
根据《中华人民共和国劳动合同法》的相关规定，公司在试用期内解除劳动合同，必须满足以下条件之一：
员工不符合录用条件：公司需明确设定录用条件，并在试用期内对员工进行考核。若员工不符合录用条件，公司需提供充分的证据证明这一点，如考核记录、工作表现评价等。
员工存在严重违纪行为：如员工在试用期内有严重违反公司规章制度、失职、营私舞弊等行为，公司可以解除劳动合同。但同样需要提供充分的证据。
员工被依法追究刑事责任：若员工在试用期内被依法追究刑事责任，公司有权解除劳动合同。
二、试用期解除的程序要求
提前通知：虽然试用期解除劳动合同不需要提前30天通知，但公司仍需在解除前告知员工解除的理由和依据。
书面通知：为了确保程序的合法性和证据的完整性，建议公司以书面形式通知员工解除劳动合同，并要求员工签收或通过其他方式确认收到通知。
办理离职手续：公司需按照法律法规和公司规章制度的规定，为员工办理离职手续，包括结算工资、转移社保等。
三、违法解除的法律后果
如果公司违反法定条件和程序解除劳动合同，可能面临以下法律后果：
支付赔偿金：根据《劳动合同法》的规定，公司违法解除劳动合同的，需向员工支付赔偿金，赔偿金的标准为经济补偿金的两倍。经济补偿金根据员工在公司的工作年限和工资水平计算。
恢复劳动关系：在特定情况下，如员工要求继续履行劳动合同的，公司可能需恢复与员工的劳动关系。
四、建议与操作指南
明确录用条件：在招聘时，公司应明确设定录用条件，并在劳动合同中或相关规章制度中予以明确。
完善考核制度：建立完善的试用期考核制度，定期对员工进行考核，并保留考核记录作为证据。
合法合规解除：在决定解除劳动合同时，务必确保符合法定条件和程序，避免违法解除带来的法律风险。
沟通与协商：在解除劳动合同前，建议与员工进行充分的沟通和协商，尽量达成一致意见，减少纠纷和冲突。
示例：假设公司发现新员工在试用期内多次迟到早退，且工作表现不符合录用条件中的“工作态度积极、遵守公司规章制度”等要求。此时，公司可以依据《劳动合同法》的相关规定，与员工进行沟通，告知其解除劳动合同的理由和依据，并办理离职手续。但在此过程中，公司需确保有充分的证据证明员工不符合录用条件，且遵循了合法的解除程序。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。