返聘合同没到期单位单方面解除合同，一般情况下没有违约金，但可能涉及经济补偿或赔偿金的问题，具体取决于解除合同的合法性。以下从不同角度为您详细分析：
一、合法解除合同的情况
协商一致解除：
- 如果用人单位与返聘人员协商一致解除合同，那么双方可以就解除合同的相关事宜进行协商，但通常这种情况下不涉及违约金。不过，双方可以就经济补偿等事宜进行约定。
法定情形下的无过失性辞退：
- 根据《中华人民共和国劳动合同法》的相关规定，如果返聘人员因患病或非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作的；或者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的；或者劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与返聘人员协商，未能就变更劳动合同内容达成协议的，用人单位可以提前三十日以书面形式通知返聘人员本人或者额外支付一个月工资后解除合同。这种情况下，用人单位无需支付违约金，但可能需要支付经济补偿。
经济性裁员：
- 如果用人单位因依照企业破产法规定进行重整等原因需要裁减人员，且返聘人员属于被裁减的范围，那么用人单位在按照法律规定履行相关程序后，可以依法进行经济性裁员。这种情况下，用人单位也需按照法律规定向返聘人员支付经济补偿，而无需支付违约金。
二、违法解除合同的情况
- 如果用人单位没有合法理由而单方面解除返聘合同，则属于违法解除劳动合同。根据《中华人民共和国劳动合同法》的相关规定，用人单位应当依照经济补偿标准的二倍向返聘人员支付赔偿金。
经济补偿标准：
- 经济补偿按返聘人员在本单位工作的年限，每满一年支付一个月工资的标准向返聘人员支付。
- 六个月以上不满一年的，按一年计算；不满六个月的，向返聘人员支付半个月工资的经济补偿。
- 如果返聘人员月工资高于用人单位所在直辖市、设区的市级人民政府公布的本地区上年度职工月平均工资三倍的，向其支付经济补偿的标准按职工月平均工资三倍的数额支付，向其支付经济补偿的年限最高不超过十二年。
三、特殊情况下的违约金
- 虽然一般情况下用人单位不得与劳动者约定由劳动者承担违约金，但在特定情况下，如用人单位为返聘人员提供专项培训费用并对其进行专业技术培训的，可以与该返聘人员订立协议，约定服务期。若返聘人员违反服务期约定，应当按照约定向用人单位支付违约金。不过，违约金的数额不得超过用人单位提供的培训费用，且用人单位要求返聘人员支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。
建议：
- 如果您作为返聘人员遇到了单位单方面解除合同的情况，首先应当了解解除合同的原因是否合法。
- 如果认为解除合同不合法，可以与用人单位协商要求支付赔偿金或经济补偿。
- 如果协商无果，可以向劳动争议调解委员会申请调解，或者向劳动争议仲裁委员会申请仲裁。
- 在整个过程中，保留好相关证据，如合同、工资单、解除合同通知等，以便在需要时维护自己的合法权益。
希望以上分析能对您有所帮助。如果您还有其他问题或需要进一步的法律帮助，请随时向我咨询。