违法《土地管理法》被责令拆除之所以是处罚，是因为它符合行政处罚的构成要件，且《土地管理法》明确规定了此类行为的法律责任。以下从多个角度为你详细分析：

一、行政处罚的构成要件

行政处罚是行政机关依法对违反行政管理秩序的公民、法人或者其他组织，以减损权益或者增加义务的方式予以惩戒的行为。责令拆除违法建筑作为行政处罚的一种，具备行政处罚的构成要件：

1. 主体要件：作出责令拆除决定的主体必须是具有行政处罚权的行政机关，如自然资源主管部门、农业农村主管部门或乡镇人民政府等。
2. 行为要件：被处罚的行为必须是违反行政管理秩序的行为，如非法占用土地、违反土地利用总体规划擅自将农用地改为建设用地等。
3. 结果要件：责令拆除必须是对违法行为人的一种惩戒，旨在纠正违法行为，恢复土地原状，保护土地资源。

二、《土地管理法》的相关规定

根据《中华人民共和国土地管理法》第七十七条的规定，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地。对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状。这一条款明确规定了责令拆除作为对非法占用土地行为的一种处罚措施。

三、责令拆除的具体应用

在实际操作中，责令拆除通常适用于以下情形：

1. 非法占用土地建房：如未经批准擅自在耕地上建造房屋，自然资源主管部门在发现后，会依法进行立案调查，并作出责令退还非法占用的土地、限期拆除违法建筑的处罚决定。
2. 违反规划建设：在乡、村庄规划区内未依法取得乡村建设规划许可证或未按许可进行建设的行为，由乡镇人民政府负责查处，并可责令停止建设、限期改正；逾期不改正的，可以拆除。

四、责令拆除的法律后果

如果当事人拒不执行责令拆除的决定，相关部门可以采取强制措施进行拆除，如申请人民法院强制执行等。此外，非法占用土地的行为还可能面临罚款、没收违法所得等行政处罚，甚至可能触犯刑法，构成非法占用耕地罪等刑事犯罪。

五、建议与注意事项

1. 遵守法律法规：在涉及土地使用和建设时，务必遵守相关法律法规，确保行为的合法性。
2. 及时咨询专业律师：如果你对土地管理法规或相关处罚决定有疑问，建议及时向我咨询，以便更好地了解你的权利和义务。
3. 积极配合执法：如果收到责令拆除的决定，应积极配合执法部门的工作，按照要求自行拆除违法建筑，以避免不必要的法律后果。

综上所述，违法《土地管理法》被责令拆除之所以是处罚，是因为它符合行政处罚的构成要件，且《土地管理法》明确规定了此类行为的法律责任。如果你有任何关于土地管理或房产纠纷的问题，欢迎随时向我咨询。