单位聘用干部不能随便免除，具体分析如下：

1. 合同约定角度：如果单位与聘用干部签订了聘用合同，合同中明确约定了聘用期限、岗位职责、免职条件等内容，那么单位要免除干部职务，必须严格按照合同约定执行。若合同未规定免职条件，单位随意免除干部职务就可能构成违约，需要承担相应的违约责任，比如继续履行合同、赔偿干部因免职造成的损失等。
2. 法律法规角度：根据相关法律法规，单位在免除干部职务时，需要遵循合法、公平、公正的原则。如果免职决定缺乏合法依据，或者违反了法定程序，干部有权通过法律途径维护自己的合法权益。例如，单位不能因为干部的性别、年龄、种族、宗教信仰等因素而随意免除其职务，这属于就业歧视，是违法的。
3. 内部管理角度：即使单位有内部的管理规定，这些规定也不能违反法律法规和合同约定。单位在免除干部职务前，通常需要进行充分的调查和沟通，确保免职决定有合理的事实依据和正当的理由。比如，干部存在严重失职、渎职行为，给单位造成了重大损失，单位在经过合法程序调查核实后，可以依据内部规定免除其职务。但如果没有充分的证据支持，仅凭主观臆断或个人喜好就免除干部职务，是不合理的。

如果单位随意免除干部职务，干部可以先与单位进行协商，要求单位说明免职的理由和依据。如果协商无果，干部可以向劳动争议仲裁机构申请仲裁，或者向人民法院提起诉讼，通过法律手段来维护自己的合法权益。如果你还有其他关于劳动法律方面的问题，可以直接向我咨询。