关于您与劳务派遣解除劳动合同是否需要赔偿的问题，这主要取决于合同解除的具体原因和情形。以下是我为您详细梳理的几种情况：
需要支付经济补偿或赔偿金的情形
协商一致解除且由派遣单位提出：
- 如果劳务派遣单位主动与您协商一致解除劳动合同，根据《劳动合同法》的相关规定，单位应向您支付经济补偿。补偿标准通常是按照您在本单位的工作年限来计算，每满一年支付一个月工资，六个月以上不满一年的按一年计算，不满六个月的支付半个月工资。
无过失性辞退：
- 如果您因病、不能胜任工作或因客观情况变化导致合同无法履行，且未与单位达成变更协议，劳务派遣单位在提前三十日通知或额外支付一个月工资后，可以解除劳动合同，并需支付经济补偿。
经济性裁员：
- 当劳务派遣单位出现企业重整、生产经营困难等情形，需要裁减人员时，应提前三十日向工会或全体职工说明情况，听取意见后裁减，并向您支付经济补偿。
违法解除劳动合同：
- 如果劳务派遣单位违反《劳动合同法》规定解除或终止劳动合同，您有权要求继续履行合同；若您不要求继续履行或合同已无法履行，单位应按经济补偿标准的二倍向您支付赔偿金。
无需支付经济补偿的情形
劳动者过失性辞退：
- 如果您存在试用期间不符合录用条件、严重违反规章制度、严重失职营私舞弊等情形，劳务派遣单位可以解除劳动合同，且无需支付经济补偿。
劳动者主动提出并协商一致：
- 若您主动向劳务派遣单位提出解除劳动合同，并与单位协商一致，单位也无需支付经济补偿。不过，这种情况下，您应确保自己的辞职行为是出于自愿，且没有受到单位的欺诈或胁迫。
实际操作建议
沟通协商：
- 面对劳务派遣单位解除合同的情况，建议您先与单位进行沟通协商，尝试通过和解方式解决争议。这有助于您了解单位解除合同的具体原因，以及是否有可能获得经济补偿。
准备证据：
- 如果协商无果，您可能需要向劳动仲裁委员会提起劳动仲裁。在申请仲裁时，您应准备充分的证据材料，如劳动合同、工资单、解除合同通知书等，以支持自己的主张。
了解法律法规：
- 在处理此类纠纷时，了解相关的法律法规是非常重要的。您可以查阅《劳动合同法》等相关法律法规，或者咨询专业律师（比如我），以更好地维护自己的合法权益。
总结来说，劳务派遣单位解除合同时是否需要支付赔偿，取决于合同解除的具体原因和情形。作为劳动者，您应了解自己的权益和义务，并在必要时寻求法律帮助。如果您有任何疑问或需要进一步的法律咨询，请随时向我提问。