单位负责人拆除单位的建筑是否违法，需根据具体情况判断。
首先，我们要明确的是，任何建筑物的拆除都需要遵循相关的法律法规，包括但不限于建筑法、土地管理法等。如果单位负责人未经批准或未按照法定程序擅自拆除单位的建筑，那么这种行为就有可能构成违法。
具体来说，如果单位的建筑是合法建设的，且拆除行为未经相关部门批准或未按照法定程序进行，那么单位负责人可能会面临以下法律后果：
行政处罚：根据相关法律法规，未经批准擅自拆除建筑物的行为可能会被处以罚款、警告等行政处罚。
刑事责任：如果拆除行为导致严重后果，如造成人员伤亡、财产损失等，单位负责人可能会因涉嫌犯罪而被追究刑事责任。
另一方面，如果单位的建筑是违法建设的，那么拆除行为可能是在执行相关部门的处罚决定或整改要求。在这种情况下，单位负责人需要确保拆除行为符合法定程序，并尽可能减少对环境、周边居民等的影响。
因此，单位负责人在拆除单位建筑前，应该充分了解相关法律法规和程序要求，确保拆除行为的合法性和合规性。如果有任何疑问或不确定的地方，建议咨询专业的法律人士或相关部门以获取准确的法律意见和指导。
总之，单位负责人拆除单位的建筑是否违法，取决于拆除行为的合法性和合规性。在拆除前，务必进行充分的法律评估和准备，以避免可能的法律风险和后果。