用人单位与劳动者解除劳动合同时，是否需要支付赔偿或经济补偿，这主要取决于解除劳动合同的具体情形以及相关的法律规定。以下是对这一问题的详细解答：
一、用人单位需要支付经济补偿的情形
协商一致解除
- 当用人单位与劳动者协商一致，决定解除劳动合同时，用人单位需要向劳动者支付经济补偿。
- 经济补偿的计算标准是：按劳动者在本单位工作的年限，每满一年支付一个月工资；六个月以上不满一年的，按一年计算；不满六个月的，支付半个月工资的经济补偿。
无过错性解除
- 如果劳动者因患病或非因工负伤，在医疗期满后不能从事原工作，或者劳动者不能胜任工作，经过培训或调整工作岗位后仍不能胜任，或者劳动合同订立时的客观情况发生重大变化，导致合同无法履行，且双方未能就变更合同内容达成一致，用人单位在提前三十日以书面形式通知劳动者或额外支付一个月工资后，可以解除劳动合同，并支付经济补偿。
- 经济补偿的计算标准与协商一致解除时相同。
经济性裁员
- 当用人单位因生产经营发生严重困难、企业转产或技术革新等原因，需要裁减人员，且符合法定裁员条件时，用人单位需要支付经济补偿。
- 经济补偿的计算标准也是按照劳动者在本单位的工作年限来计算。
二、用人单位需要支付赔偿金的情形（违法解除）
- 如果用人单位违反法律规定解除或终止劳动合同，例如在劳动者无过错的情况下单方解除合同，或者解除程序不符合法律规定，那么用人单位需要按照经济补偿标准的二倍向劳动者支付赔偿金。
- 赔偿金的计算标准是：按劳动者在本单位工作的年限，每满一年支付两个月工资；六个月以上不满一年的，按一年计算；不满六个月的，支付一个月工资的赔偿金。
三、用人单位无需支付经济补偿或赔偿金的情形
- 如果劳动者存在过错，如试用期间被证明不符合录用条件、严重违反用人单位规章制度、严重失职营私舞弊给用人单位造成重大损害等，用人单位可以依法解除劳动合同，且无需支付经济补偿或赔偿金。
四、特殊情况说明
- 如果劳动者的月工资高于用人单位所在直辖市、设区的市级人民政府公布的本地区上年度职工月平均工资三倍的，那么向其支付经济补偿或赔偿金的标准将按职工月平均工资三倍的数额支付，且支付经济补偿的年限最高不超过十二年。
五、维权途径
- 如果劳动者认为用人单位解除劳动合同的行为违法或不合理，可以首先收集相关证据，如劳动合同、工资条、工作证、考勤记录、解除劳动合同通知等。
- 然后尝试与用人单位协商，要求其支付相应的经济补偿或赔偿金。
- 如果协商不成，可以向劳动监察部门投诉，或者向劳动争议仲裁委员会申请仲裁。
- 对仲裁结果不服的，劳动者还有权向法院提起诉讼，依法维护自己的合法权益。
综上所述，用人单位在解除劳动合同时应严格遵守法律规定，根据具体情况判断是否需要支付经济补偿或赔偿金。同时，劳动者也应了解自身权益，必要时可通过法律途径维护合法权益。