劳务派遣公司不可以随意解除与派遣劳动者之间的劳动合同，这一行为必须严格遵循法律规定的条件和程序。以下是对此问题的详细解析：

一、合法解除劳动合同的情形

1. 协商一致解除：

   • 劳务派遣单位与派遣劳动者双方达成一致意见后，可以解除劳动合同。这是最直接且和平的解除方式，双方通过协商达成共识，无需遵循特定的法定条件。

2. 劳动者过错解除：

   • 若劳动者存在《中华人民共和国劳动合同法》第三十九条规定的过错情形，劳务派遣单位有权解除劳动合同。这些过错情形包括但不限于：在试用期间被证明不符合录用条件、严重违反用人单位的规章制度、严重失职或营私舞弊给用人单位造成重大损害、同时与其他用人单位建立劳动关系对完成本单位工作任务造成严重影响且拒不改正、因欺诈等手段订立或变更劳动合同、被依法追究刑事责任等。

3. 非过错性解除：

   • 当出现符合《中华人民共和国劳动合同法》第四十条规定的情形时，劳务派遣单位在提前三十日以书面形式通知劳动者本人或额外支付一个月工资后，可以解除劳动合同。这些情形包括：劳动者患病或非因工负伤在医疗期满后不能从事原工作也不能从事另行安排的工作、劳动者不能胜任工作经培训或调整岗位后仍不能胜任、劳动合同订立时的客观情况发生重大变化致使劳动合同无法履行且协商未果等。

二、违法解除劳动合同的后果

如果劳务派遣公司无故或随意解除与派遣劳动者的劳动合同，将构成违法解除。此时，劳动者有权要求继续履行劳动合同，用人单位应当继续履行。若劳动者不要求继续履行或劳动合同已无法继续履行，用人单位需按照经济补偿标准的二倍向劳动者支付赔偿金。经济补偿的计算方式依据劳动者在本单位工作的年限和月工资标准来确定。

三、解除劳动合同的程序

无论是劳务派遣单位还是劳动者提出解除劳动合同，都应遵循一定的程序。劳动者需提前三十日（试用期为三日）书面通知用人单位。当劳动合同到期不再续签或因劳务派遣单位过错导致解除时，劳务派遣单位应按照相关法律法规的规定向劳动者支付经济补偿。

四、对用工单位的特别说明

用工单位在劳务派遣关系中虽然不直接与劳动者签订劳动合同，但在解除劳动关系时也需遵循法定程序。用工单位若需退回劳务派遣员工，应确保符合法定条件，并及时通知劳务派遣单位，由劳务派遣单位依法处理与劳动者的劳动合同解除事宜。

总结：劳务派遣公司在解除与派遣劳动者的劳动合同时，必须严格遵守法律规定的条件和程序。任何无故或随意的解除行为都可能构成违法解除，面临支付经济补偿或赔偿金的法律责任。因此，建议劳务派遣公司在解除劳动合同时务必谨慎行事，确保程序合法、条件明确。